五、Kafka高频面试题

1、Kafka架构

         生产者、Broker、消费者、ZK；

        注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。

 

 2、Kafka的机器数量

         Kafka机器数量 = 2 *（峰值生产速度 * 副本数 / 100）+ 1

3、副本数设定

        一般我们设置成2个或3个，很多企业设置为2个。

        副本的优势：提高可靠性；副本劣势：增加了网络IO传输

4、Kafka压测

        Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-producer-perf-test.sh）。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

5、Kafka日志保存时间

        默认保存7天；生产环境建议3天

6、Kafka中数据量计算

        每天总数据量100g，每天产生1亿条日志， 10000万/24/60/60=1150条/每秒钟

        平均每秒钟：1150条

        低谷每秒钟：50条

        高峰每秒钟：1150条*（2-20倍）=2300条-23000条

        每条日志大小：0.5k-2k（取1k）

        每秒多少数据量&#