5、Kafka消息顺序保证

kafka消息顺序保证
kafka分布式的单位是partition，同一个partition用一个write ahead log组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。

绝大多数用户都可以通过message key来定义，因为同一个key的message可以保证只发送到同一个partition，比如说key是user id，table row id等等，所以同一个user或者同一个record的消息永远只会发送到同一个partition上，保证了同一个user或record的顺序。

同一个partition只会被消费者组中的一个消费者消费，保证消费有序性。

但是对数据有序性有严格要求，建议：
创建Topic时只指定1个partition，这样就失去kafka优秀的特性
kafka本身适合流式大数据量，要求高吞吐，对数据有序性要求不严格的场景

注意事项
消息重试对顺序消息的影响
对于一个有着先后顺序的消息A、B，正常情况下应该是A先发送完成后再发送B，但是 在异常情况下，在A发送失败的情况下，B发送成功，而A由于重试机制在B发送完成之后重试发送成功了。这时对于本身顺序为AB的消息顺序变成了BA

消息producer发送逻辑的控制
消息producer在发送消息的时候，对于同一个broker连接是存在多个未确认的消息在同时发送的，也就是存在上面场景说到的情况，虽然A和B消息是顺序的，但是由于存在未知的确认关系，有可能存在A发送失败，B发送成功，A需要重试的时候顺序关系就变成了BA。简之一句就是在发送B时A的发送状态是未知的。

针对以上的问题，严格的顺序消费还需要以下参数支持： max.in.flight.requests.per.connection
在发送阻塞前对于每个连接，正在发送但是发送状态未知的最大消息数量。如果设置大于1，那么就有可能存在有发送失败的情况下，因为重试发送导致的消息乱序问题。设置为1，这样生产者在尝试发送第一个批次的消息时，就不会有其他的消息发送给 broker，但是吞吐量会下降。