![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 84
m0_71696030
这个作者很懒,什么都没留下…
展开
-
第5章 Kafka监控 Kafka Eagle
1)修改kafka启动命令修改命令中 为 注意:修改之后在启动Kafka之前要分发之其他节点2)上传压缩包 kafka-eagle-bin-1.4.5.tar.gz到集群/opt/software目录3)解压到本地 4)进入刚才解压的目录 5)将kafka-eagle-web-1.3.7-bin.tar.gz解压至/opt/module 6)修改名称 7)给启动文件执行权限 8)修改配置文件 conf/system-config.properties 9)添加环境变量 10)启动 注意:启动之前需要先启动Z原创 2022-06-06 02:55:41 · 104 阅读 · 0 评论 -
第4章 Kafka API
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。相关参数:**batch.size:**只有数据积累到batch.size之后,sender才会发送数据。**linger.ms:**如果数据迟迟未达到batch原创 2022-06-06 02:54:33 · 48 阅读 · 0 评论 -
第3章 Kafka架构深入
Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。由于生产者生产的消息会不断追加到log文件末尾,为防止log文原创 2022-06-06 02:52:54 · 138 阅读 · 0 评论 -
第2章 Kafka快速入门
官网:http://kafka.apache.org/downloads.html1)解压安装包 2)修改解压后的文件名称 3)在/opt/module/kafka-2.4.1目录下创建logs文件夹 4)修改配置文件 输入以下内容: 5)配置环境变量 6)分发安装包 注意:分发之后记得配置其他机器的环境变量7)分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka-2.4.1/config/server.properties中的broker.id=1、broker.原创 2022-06-06 02:51:54 · 71 阅读 · 0 评论 -
第1章 Kafka概述
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。3)缓冲有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。4)灵活性 & 峰值处理能力在访问量剧增的情况下原创 2022-06-06 02:50:54 · 107 阅读 · 0 评论