大数据面试通关手册｜Spark面试题(二)

⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339
⭐⭐欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！
⭐⭐本文由【王知无】原创，首发于 CSDN博客！
⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！

1. Spark消费 Kafka，分布式的情况下，如何保证消息的顺序?

Kafka 分布式的单位是 Partition。如何保证消息有序，需要分几个情况讨论。

• 同一个 Partition 用一个 write ahead log 组织，所以可以保证 FIFO 的顺序。

• 不同 Partition 之间不能保证顺序。但是绝大多数用户都可以通过 message key 来定义，因为同一个 key 的 message 可以保证只发送到同一个 Partition。比如说 key 是 user id，table row id 等等，所以同一个 user 或者同一个 record 的消息永远只会发送到同一个 Partition上，保证了同一个 user 或 record 的顺序。

• 当然，如果你有 key skewness 就有些麻烦，需要特殊处理。

实际情况中: （1）不关注顺序的业务大量存在；（2）队列无序不代表消息无序。

第（2）条的意思是说: 我们不保证队列的全局有序，但可以保证消息的局部有序。举个例子: 保证来自同1个 order id 的消息，是有序的！<