Kafka 学习
Nurbiya_K
坚持是件很酷的事情!
展开
-
ACKS(确认收到)的参数配置,幂等性
ACKS参数配置:0:producer不等待broker的ack(是topic的每个partition发送),这一操作提供了最低的延迟,broker一接收到还没有写入到磁盘就已经返回(反正就是不等待ack),当broker故障时可能会丢失数据。1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,...原创 2020-01-31 18:50:28 · 770 阅读 · 0 评论 -
Kafka —— 数据可靠性保证,副本数据同步策略(ACK,ISR,LEO,HW)
数据可靠性:为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据之后,都需要向producer发送ACK(acknowledgement 确认收到),如果producer收到ACK,就会进行下一轮的发送,否则重新发送数据。副本数据同步策略:方案一:半数以上完成同步,就发送ACK。优点:延迟低。缺点:选举新的le...原创 2020-01-31 12:36:54 · 1096 阅读 · 4 评论 -
Kafka工作流程 —— topic(主题) , partition(分区)
同一个数据的leader 和 follower 一定不在同一个节点内(broker id 不同),放在一个区内毫无意义,挂掉了都挂掉了。(副本follower存在的意义就在于当leader挂掉时可以通过副本来恢复数据)。Kafka 中消息是以 topic(主题:作用就是分类) 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。(生产者和消费者都连接一个主题,要指定主题是谁...原创 2020-01-28 22:46:36 · 413 阅读 · 0 评论 -
kafka —— 消息队列(消息中间站)
Kafka:是消息队列(消息中间站),应用于实时处理领域,是基于发布/订阅模式。消息队列的两种模式:(1) 点对点模式 : 一个消息只有一个消费者。消费者主动拉去数据,消费完之后消息会被清除。 一对一 。(2) 发布/订阅模式 :一个消息会有多个消费者,消费者消费完消息之后,消息不会被清除。 一对多 。发布/订阅模式下消息有两种消费方式:1 . 消费者主动拉取消息,Kafka采...原创 2020-01-26 11:49:55 · 491 阅读 · 0 评论