kafka
大数据技术之路---花火
这个作者很懒,什么都没留下…
展开
-
Apache Kafka 2.4 正式发布,重要功能详细介绍
2019年12月18日 Apache Kafka 2.4 正式发布了,这个版本有很多新功能,本文将介绍这个版本比较重要的功能,完整的更新可以参见 release notes。Kafka broker, producer, 以及 consumer 新功能KIP-392: 允许消费者从最近的副本获取数据 在 Kafka 2.4 版本之前,消费者只能从 leaders 分区那里获...原创 2019-12-27 16:36:15 · 1077 阅读 · 0 评论 -
kafka 动态参数
大家都知道kafka中有个server.properties文件用来配置参数的。我们今天来讲的是另外一种参数----动态参数。1、动态参数是什么? 动态参数从字面意思就能理解,意思就是在kafka运行过程中配置的参数。2、动态参数是保存在哪里的? 静态参数有个server.properties文件来保存,那么动态是放在哪儿来保存的呢? Kafka 将动...原创 2019-11-14 21:39:51 · 894 阅读 · 0 评论 -
kafka 控制器详解
一、控制器是什么东东? 控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的职责。二、控制器是怎么选出来? Bro...原创 2019-11-14 21:17:02 · 589 阅读 · 0 评论 -
kafka系列:kafka基本架构
1、拓扑结构图2、kafka中相关组件的解释 (1)producer:消息生产者,发布消息到 kafka 集群的终端或服务。 (2)broker:kafka 集群中包含的服务器。 (3)topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。 (4)partition:partition 是物理上的概念,每个 topic 包含一个或...原创 2018-07-12 23:39:59 · 1162 阅读 · 1 评论 -
kafka系列:kafka各组件详解
1、producer生产者1.1 写入方式producer 采用 push 模式将消息发布到 broker,每条消息都被 append 到 patition 中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障 kafka 吞吐率)。1.2 消息路由producer 发送消息到 broker 时,会根据分区算法选择将其存储到哪一个 partition。其路...原创 2019-10-18 17:09:14 · 859 阅读 · 0 评论