KafKa
大而话之-Big Data
IT从业者
展开
-
kafka-consumer深度剖析
Producer通过主动Push的方式将消息发布到Broker ,Consumer通过Pull从Broker消费数据,Pull的好处: Consumer按实际处理能力获取相应量的数据;不会被压垮 Broker实现简单 如果处理不好,实时性相对不足 Kafka读写机制 ...原创 2019-11-08 14:48:33 · 198 阅读 · 0 评论 -
kafka-数据一致性参数详解
Kafka中Producer发送消息到Broker,Broker有三种返回方式,分别为: Noack leader commit成功就ack leader和follower同时commit成功才返回ack。 request.required.acks producer向leader发送数据时,可以通过request.required.acks参数设置数据可靠性的级别: 1(默认):这意味...原创 2019-11-08 11:00:18 · 444 阅读 · 0 评论 -
KafKa-深入解析Leader和Follower数据同步机制(HW,LEO概念)
HW vs LEO LEO(LogEndOffset):表示每个partition的log最后一条Message的位置。 HW(HighWatermark):高水位线概念,表示partition各个replicas数据间同步且一致的offset位置,即表示allreplicas已经commit位置,每个Broker缓存中维护此信息,并不断更新。是指consumer能够看到的此partition位置...原创 2019-11-07 16:50:09 · 851 阅读 · 0 评论