![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 69
hadoop学习总结
Sa Eleisa
这个作者很懒,什么都没留下…
展开
-
kafka学习笔记(二)架构深入
1、kafka的工作流程 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,以便出错恢复时,从上次的位.原创 2021-01-05 17:23:13 · 147 阅读 · 0 评论 -
Kafka学习笔记(一)
1、使用消息队列的好处? 解耦、扩展性、可恢复性、缓冲、灵活性&峰值处理能力(削峰)、异步通信、顺序保证 2、消息队列的两种模式: a.点对点模式(一对一,消费者主动拉取,消息消费后就会删除) b.发布/订阅模式(一对多,消息消费后不会删除,kafka中是消费者主动拉取消息) 3、kafka的组成 1)produncer:消息生产者,发布消息到kafka; 2)broker:一个broker就是一个Kafka服务器,一个集群有多个broker,一个broker有多个topi..原创 2021-01-05 17:22:38 · 168 阅读 · 0 评论