![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
数据孤岛
这个作者很懒,什么都没留下…
展开
-
Kafka消费者
同一个partition不能被同一组内多个consumer同时读 groupcoordinator原创 2020-12-10 19:19:31 · 234 阅读 · 0 评论 -
Kafka生产者
一、分区策略 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。 (1)指明 partition 的情况下,直接将指明的值直接作为 partiton 值; (2)没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition数进行取余得到 partition 值; (3)既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic原创 2020-12-05 16:27:30 · 79 阅读 · 0 评论 -
Kafka工作流程及文件存储机制
Kafka 工作流程 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文 件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己 消费到了哪个 offset,以便出错恢复时,从上次的位置继原创 2020-12-05 15:40:44 · 105 阅读 · 0 评论 -
Kafka基础架构
1)Producer :消息生产者,就是向 kafka broker 发消息的客户端; 2)Consumer :消息消费者,向 kafka broker 取消息的客户端; 3)Consumer Group (CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。 4)Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 b.原创 2020-12-04 23:43:19 · 74 阅读 · 0 评论 -
Kafka的shell操作
kafka启动脚本 kafka-server-start.sh -daemon /opt/soft/kafka211/config/server.properties kafka关闭脚本 kafka-server-stop.sh stop kafka集群脚本 编写启动脚本 vi kkstart.sh for i in hadoop102 hadoop103 hadoop104 do echo "========== $i ==========" ssh $i '/opt/soft/kafka211/b原创 2020-12-04 23:32:26 · 126 阅读 · 0 评论