Kafka 核心组件之协调器

1. 消费者与消费者组 首先简单了解一下消费者和消费者组: 假设某 topic 有4个分区,消费者组中只有一个消费者,那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者,那么每个消费者消费两个 partition。 如果消费者组中有4个消费者,那么...

2019-08-08 21:19:23

阅读数 31

评论数 0

Kafka 0.10 Coordinator概述

由Kafka内置实现了失败检测和Rebalance(ZKRebalancerListener),但是它存在羊群效应和脑裂的问题,客户端代码实现低级API也不能解决这个问题。如果将失败探测和Rebalance的逻辑放到一个高可用的中心Coordinator,这两个问题即可解决。同时还可大大减少Zoo...

2019-07-30 17:48:27

阅读数 41

评论数 0

Kafka生产者事务和幂等

https://blog.csdn.net/mlljava1111/article/details/81180351 1 生产者幂等性 1.1 引入 幂等性引入目的: 生产者重复生产消息。生产者进行retry会产生重试时,会重复产生消息。有了幂等性之后,在进行retry重试时,只会生成一个...

2019-07-30 17:45:29

阅读数 39

评论数 0

Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告

本文详细阐述了Kafka的性能测试方法,并全面展示了Kafka各组件的性能测试报告。 原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布) 本文转发自技术世界,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_ka...

2019-07-30 16:24:06

阅读数 53

评论数 0

Kafka设计解析(四)- Kafka Consumer设计解析

本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计--使用Consumer Coordi...

2019-07-30 16:06:57

阅读数 49

评论数 0

Kafka设计解析(三)- Kafka High Availability (下)

本文在上篇文章 基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Rep...

2019-07-30 15:57:42

阅读数 36

评论数 0

Kafka设计解析(二)- Kafka High Availability (上)

Kafka从0.8版本开始提供High Availability机制,从而提高了系统可用性及数据持久性。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布) 本文...

2019-07-30 15:30:52

阅读数 40

评论数 0

Kafka副本管理—— 为何去掉replica.lag.max.messages参数

https://www.cnblogs.com/huxi2b/p/5903354.html 今天查看Kafka 0.10.0的官方文档,发现了这样一句话:Configuration parameter replica.lag.max.messages was removed. Partition...

2019-07-26 17:59:19

阅读数 16

评论数 0

Kafka为什么拥有高性能?

架构层面 1.利用Partition实现并行处理 Kafka中的每个Topic都包含一个或多个Partition,且它们位于不同节点。同时,Partition在物理上对应一个本地文件夹,每个Partition包含一个或多个Segment,其中包含一个数据文件与一个索引文件。Partiti...

2019-07-05 11:28:08

阅读数 66

评论数 0

Kafka中的消息传递保证语义

http://cxy7.com/articles/2018/06/12/1528812656788.html 目录 Kafka提供的消息传递保证语义 Producer的消息传递语义 at-least-once传递语义 exactly-once传递语义 request.require...

2019-07-04 14:22:39

阅读数 53

评论数 0

干货|为什么Kafka不支持读写分离

https://blog.csdn.net/zl1zl2zl3/article/details/87982038 在 Kafka 中,生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的,从 而实现的是一种主写主读的生产消费模型。数据库、Redis 等都具备主写主读的功能,与...

2019-06-06 11:02:38

阅读数 27

评论数 0

apache kafka系列之在zookeeper中存储结构

https://blog.csdn.net/lizhitao/article/details/23744675 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "versi...

2019-04-03 14:04:43

阅读数 138

评论数 0

Kafka设计解析(七)- Kafka Stream

http://www.jasongj.com/kafka/kafka_stream/本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数...

2018-05-16 19:15:33

阅读数 1354

评论数 0

Kafka设计解析(八)- Exactly Once语义与事务机制原理

http://www.jasongj.com/kafka/transaction/本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理,并介绍了Kafka如何处理事务相关的异常情况,如Transaction Coordinator宕机。最后...

2018-05-16 19:15:28

阅读数 353

评论数 0

Kafka设计解析(六)- Kafka高性能架构之道

本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力,如何通过ISR实现可用性和数据一致性的动态平衡,如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。 原创...

2018-05-15 17:44:26

阅读数 117

评论数 0

kafka使用high api如何确保不丢失消息,不重复发送,消息只读取一次?

https://www.zhihu.com/question/34842764/answer/138125661kafka使用high api如何确保不丢失消息,不重复发送,消息只读取一次?虽然low api可以通过offset来实现,但是感觉好麻烦作者:雨夜偷牛的人链接:https://www....

2018-05-15 17:22:58

阅读数 620

评论数 0

kafka原理和实践(一)原理:10分钟入门

http://www.cnblogs.com/dennyzhangdd/p/7759869.html目录一、kafka拓扑图二、名词解释三、生产模型四、消费模型 正文系列目录kafka原理和实践(一)原理:10分钟入门kafka原理和实践(二)spring-kafka简单实践kafka原理和实践(...

2018-05-15 17:16:38

阅读数 1187

评论数 0

kafka学习笔记:知识点整理

https://blog.csdn.net/qq_24084925/article/details/78842844一、为什么需要消息系统kafka学习网址:http://orchome.com/kafka/index1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口...

2018-05-15 16:46:53

阅读数 126

评论数 0

Zero Copy

原文出处: http://www.ibm.com/developerworks/library/j-zerocopy/ 传统的I/O使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:File.read(fileDesc, buf, len); Socket.se...

2018-05-15 16:12:44

阅读数 131

评论数 0

为什么Kafka那么快

网上有很多Kafka的测试文章,测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章,我会重点解释——为什么真快。(当然不是因为它用了Scala!!!!)生产者(写入数据)生产者(producer)是负责向...

2018-05-15 15:30:49

阅读数 16940

评论数 2

提示
确定要删除当前文章?
取消 删除