![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
qq_33190134
这个作者很懒,什么都没留下…
展开
-
kafka_day03
1. kafka内核原理 1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性,但是能保证数据不丢失吗? 不行,因为如果leader宕机,但是leader的数据还没同步到follower上去,此时即使选举了follower作为新的leader,当时刚才的数据已经丢失了。 ISR是:in-sync replica,就是跟leader partition保持同步的follower partition的数量,只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea原创 2020-09-21 21:26:42 · 210 阅读 · 0 评论 -
kafk_day02
1. kafka分区策略 kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中 1、指定具体的分区号 //1、给定具体的分区号,数据就会写入到指定的分区中 producer.send(new ProducerRecord<String, String>("test", 0,Integer.toString(i), "hello-kafka-"+i)); 2、不给定具体的分区号,给定key的值(key不断变化) //2、不给定具体的分区原创 2020-09-21 21:16:16 · 221 阅读 · 0 评论 -
kafka_day01
1. Kafka概述 1.1 为什么有消息系统 解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。 扩展性 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。 灵活性 &原创 2020-09-20 17:34:02 · 153 阅读 · 0 评论