![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 69
alwaysonline1204
这个作者很懒,什么都没留下…
展开
-
Kafka(三):kafka消费者
文章目录1. 消费方式2. 消费者总体工作流程2.1 消费者组2.2 消费者组初始化流程2.3 消费者组详细消费流程3 消费者重要参数1. 消费方式pull(拉)模式consumer采用从broker中主动拉去数据kafka采用这种方式不足之处:如果kafka没有数据,消费者可能会陷入循环之中,一直返回空数据push(推)模式kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率2. 消费者总体工作流程2.1 消费者组由多个consumer组原创 2022-05-09 23:55:13 · 3264 阅读 · 0 评论 -
kafka(三):kafka broker
文章目录1. broker总体工作流程2. Broker重要参数3. broker节点的服役和退役3.1 服役新节点3.2 退役旧节点4. kafka副本与leader选举4.1 副本基本信息4.2 leader选举流程4.3 kafka分区副本分配4.4 leader分区负载平衡问题4.5 增加副本5. 文件数据存储5.1 topic数据的存储机制5.2 .log和.index文件说明5.3 文件清理策略5. 高效读写数据1. broker总体工作流程2. Broker重要参数参数名称描原创 2022-05-08 23:03:46 · 777 阅读 · 0 评论 -
Kafka(二):生产者
1. 生产者消息发送流程1.1 发送原理在消息发送的过程中,涉及到两个线程——main线程和sender线程。在main线程中创建了一个双端队列RecordAccumulator,main线程将消息发送给RecordAccumulator,sender线程不断从RecordAccumulator 中拉取消息发送到kafka broker中1.2 生产者重要参数列表参数名称描述bootstrap.servers生产者连接集群所需的broker地址清单。可以设置 1 个或者多个,原创 2022-05-07 18:01:02 · 682 阅读 · 0 评论 -
Kafka(一):概述
1. Kafka定义传统定义:kafka是一个分布式的基于发布/订阅模式的消息队列发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息最新定义:kafka是一个开源的分布式事件流平台,被多家公司用于高性能、流分析、数据集成和关键任务应用2. 传统消息队列应用场景缓存/消峰有助于控制和优化数据流经系统的速度,解决生产者和消费者处理速度不一致的情况解耦允许独立的扩展和修改两边的处理过程,只要确保它们遵守同样的接口约束原创 2022-05-07 16:58:52 · 528 阅读 · 0 评论 -
Kafka服务器命令总结
1. 生产者相关发送消息(这里注意不能使用localhost,要使用指定ip)[root@iZ2zedqr9yeos47fg4uor5Z kafka_2.12-2.8.0]# bin/kafka-console-producer.sh --broker-list 172.24.10.198:9092 --topic test>a>b2. 消费者相关消费消息[root@iZ2zedqr9yeos47fg4uor5Z kafka_2.12-2.8.0]# bin/kafka-原创 2022-03-31 11:55:36 · 3059 阅读 · 0 评论 -
Kafka单机搭建、内网可以访问但外网无法访问的问题处理
1. kafka单机搭建https://www.cnblogs.com/XMYG/p/15242105.html2. 在centos7中搭建完成kafka后,windows环境下连接kafka失败,无法发送消息2022-03-22 21:07:52.195 WARN 41828 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Connection to no转载 2022-03-22 21:43:19 · 418 阅读 · 0 评论