![](https://img-blog.csdnimg.cn/direct/3d19ec0937854684b4d293bd596741b7.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 75
Kafka
shangjg3
这个作者很懒,什么都没留下…
展开
-
Kafka的分区副本机制
这是针对当首领副本挂掉且 ISR 中没有其他可用副本时,是否允许某个不完全同步的副本成为首领副本,这可能会导致数据丢失或者数据不一致,在某些对数据一致性要求较高的场景 (如金融领域),这可能无法容忍的,所以其默认值为 false,如果你能够允许部分数据不一致的话,可以配置为 true。在所有副本中,只有领导副本才能进行消息的读写处理。如果按照默认值保留数据一周,而且每天使用一个新片段,那么你就会看到,在每天使用一个新片段的同时会删除一个最老的片段,所以大部分时间该分区会有 7 个片段存在。原创 2023-10-12 16:29:33 · 748 阅读 · 0 评论 -
Kafka生产者使用案例
如果没有指定分区 ,那么分区器会根据 ProducerRecord 对象的键来选择一个分区,紧接着,这条记录被添加到一个记录批次里,这个批次里的所有消息会被发送到相同的主题和分区上。如果写入失败,则会返回一个错误。例如,假设这个值为 1000K ,那么可以发送的单个最大消息为 1000K ,或者生产者可以在单个请求里发送一个批次,该批次包含了 1000 个消息,每个消息大小为 1K。它的值越高,就会占用越多的内存,不过也会提升吞吐量,把它设置为 1 可以保证消息是按照发送的顺序写入服务器,即使发生了重试。原创 2023-10-12 17:19:26 · 664 阅读 · 0 评论 -
Kafka消费者使用案例
注:虽然程序不能在失败时候进行自动重试,但是我们是可以手动进行重试的,你可以通过一个 Map offsets 来维护你提交的每个分区的偏移量,然后当失败时候,你可以判断失败的偏移量是否小于你维护的同主题同分区的最后提交的偏移量,如果小于则代表你已经提交了更大的偏移量请求,此时不需要重试,否则就可以进行手动重试。同时在主题发生变化时 , 比如添加了新的分区,也会发生分区与消费者的重新分配,分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为再均衡。原创 2023-10-14 17:33:58 · 1720 阅读 · 0 评论 -
史上最简单的Kafka安装教程
到指定目录,复制conf目录下zoo_sample.cfg到zoo.cfg,并修改配置。进入到config目录,修改server.properties配置。advertised.listeners才是真正的对外代理地址。isteners的作用不是对外提供服务代理,而是监听!进入bin目录,启动zookeeper。1.安装zookeeper。1.安装zookeeper。原创 2023-09-22 15:06:55 · 540 阅读 · 0 评论