kafka
文章平均质量分 92
介绍kafka相关知识
hi wei
不问未来,只争现在
展开
-
kafka(三):选举机制
Leader选举利用zk选举zk的三个特性:watch机制节点不允许重复写入使用临时节点 在开始时所有的副本都去zk创建一个临时节点,先创建成功的副本就成为leader,后面的副本都watch这个临时节点,leader挂掉后就会触发watch事件,所有的副本开始重新选举一个leader。这样的实现比较简单,但是会存在一定的弊端。如果分区和副本数量过多,所有的副本都直接进行选举的话,一旦出现节点的增减,就会触发大量的watch事件,zk的负载就会过重。 kafka早期的版本就是使用zk选原创 2021-04-10 20:35:11 · 7324 阅读 · 0 评论 -
kafka(二):生产与消费
发送消息的幂等性Broker有判断producer生产消息幂等性的功能:具体设置:enable.idempotence=true/false原理PID(Producer ID)sequence number 生产者都要有一个唯一的编号,就是PID。每一条消息都要有一个sequence number,如果消息的sequence number小于服务端存储的最大编号,则判定该消息为重复消息。kafka只保证单个partition的消息具有顺序性,并不保证整个topic的消息具有顺序性。原创 2021-04-10 15:34:39 · 3287 阅读 · 0 评论 -
kafka(一):kafka架构
kafka是什么?kafka的定位:消息中间件消息引擎分布式实时流处理平台。使用场景大数据领域:网站行为分析、日志聚合、应用监控、流式数据处理、在线和离线数据分析等领域。数据集成:将消息导入MaxCompute、OSS、RDS、Hadoop、HBase等离线数据仓库。流计算集成:与StreamComputer、E_MapReduce、Spark、Storm等流计算引擎集成。kafka架构...原创 2021-04-07 20:09:25 · 3186 阅读 · 2 评论