千淘万漉

这是转储的一篇文章，前面是我的总结，如果哪错了希望大家能在评论中指出来首先要考虑这么几个问题：消息丢失是什么造成的，从生产端和消费端两个角度来考虑消息重复是什么造成的，从生产端和消费端两个角度来考虑如何保证消息有序如果保证消息不重不漏，损失的是什么 下面是文章详情，这里先简单总结一下：消费端重复消费：很容易解决，建立去重表

Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaConsumer编写的多线程消费者实例，希望对大家有所帮助。    这套API最重要的入口就是KafkaC...

原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用High Level Consumer在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。消息消费已Consumer Grou...