Kafka
caidongxuan
这个作者很懒,什么都没留下…
展开
-
关于Kafka Producer 的消息丢失,消息重复,消息乱序问题。
一、消息什么时候会丢失?1.异步导致消息丢失:kafka的producer默认是异步的方式,在调用send命令时,只是将消息放入一个缓存队列(RecordAccumulator),同时后台IO线程会不断扫描此缓存队列,将消息封装成batch发送出去。在这个过程中就会存在一个数据丢失的窗口:如果在IO线程发送之前producer端挂掉,存放在缓存队列中的数据就会丢失。解决方法:既然异步存在数据丢失风险,那改为同步就可以,但要明白同步时效率会变差。producer.send("topic_na原创 2020-11-16 12:06:14 · 2056 阅读 · 0 评论 -
kafka 命令行手动调整offset
使用Kafka bin目录下带有kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group)的offset,设置的前提是:consumer group状态是inactive的,即不能是处于正在工作中的状态。重设位移的流程由下面3步组成:一、确定位移重设策略——当前支持8种设置规则:–to-earliest:把位移调整到分区当前最小位移–to-latest:把位移调整到分区当前最新位移–to-current:把位移调整到分区当前位移–to-offset :原创 2020-07-14 18:40:24 · 7429 阅读 · 0 评论