kafka整理

kafka

分支主题 2

分支主题 3

常见的问题

如何保证消息的可靠性传输

• 消费者弄丢了数据

  • 可以将自动提交的offset关闭，改为手动提交offset

• kafka弄丢了数据

  • 在kafka服务端设置min.insync.replicas>1，要求leader至少感知一个follower.
  • 在producer端设置ack=all，要求每条数据必须写入所有的副本才算生产成功
  • 在producer端设置重试次数，一旦写入失败就i开始重试

• 生产者弄丢了消息

  • 如果设置ack=all，生产者不会搞丢消息的

如何保证消费消息不重复

• 幂等的概念

  • 可以通过一个partition只指定一个consumer，这样就不会造成消息的重复消费
  • 利用redis的天然幂等，当开始消费时，将对应的消息在redis中保存一份，再次消费的时候先去redis中查找是否存在，如果存在，则不进行消费

如何保证消息的顺序消费

• kafka设计原理中，在每一个partition中消息都是有顺序的，
• 在topic中要想达到顺序，有两种途径，一种是一个topic中只存在一个partition，显然这种实现方式与kafka最初的设计理念不匹配；另外一种是在生产者生产消息时，指定对应的key和partition，保证相同的key可以发送到同一个partition中
• 消费实现顺序消费，两种方式。第一种是一个消费组消费到了不同的partition中的消息，这种情况可以指定同一个消费组消费同一个partition中的消息；第二种是，消费者自己内部通过多线程实现消费，这种情况可以在消费者内部维护一个队列，将需要顺序消费的消息放在队列中，实现顺序消费

XMind - Trial Version