本文深入探讨了Kafka的分区策略，包括生产者和消费者的分区处理方式。接着讨论了Flume如何处理HDFS小文件，以及Flink与Spark Streaming的差异。此外，还介绍了Spark的背压机制、Yarn的调度策略，以及Spark Streaming的消费方式。最后，讲解了Zookeeper避免脑裂的方法和CAP法则在Zookeeper中的体现。
文章目录
Kafka 原理，数据怎么平分到消费者
这里主要考的是kafka的分区分配策略
生产者分区
若指定分区号，则直接发给对应分区；若没有分区号，则通过key的hashcode对分区数取模；若也没有key则采取Sticky策略，会随机选择一分区，尽可能使用该分区，待该分区batch已满或者已提交，再随机选择一个分区，与当前分区不同。
消费者分区
-
RoundRobin
针对所有topic的partition的。把消费者组订阅的所有topic的所有partition组成一个topicAndPartition列表，按照topicAndPartition的hashcode排序，对消费者组的所有消费者线程按照字母顺序排序，然后通过轮询将topicAndPar
最低0.47元/天 解锁文章
4850
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
