KAFKA 权威指南笔记（一）究竟应该配置多少个BROKER？

一个KAFKA集群需要多少个BROKER？

一个单独的Kafka服务器被叫做BROKER，BROKER可以处理数千个分区以及每秒百万级别的消息量。由BROKER组成了“集群”（其中由集群控制器角色的BROKER是从成员中选举出来的，负责控制管理工作）

一、多少个BROKER取决于

1、磁盘容量：如果整个集群需要保留10TB数据，而每个broker可存储2TB，那么至少需要5个BROKER；如果增加了复制系数，则还需多一倍的空间。

kafka建议每个broker的分区副本不超过14000个，每个集群的分区副本不超过100万个。

2、单个broker的复制容量

3、CPU

4、网络

BROKER配置的操作系统调优项：1) 虚拟内存 2)磁盘 3)网络

生产环境的注意事项：JDK8以后，建议使用G1GC的回收机制

修改server.properties文件：XX:MetaspaceSize=96m -XX:+UseG1GC

二、关于Zookeeper

不建议把Zookeeper共享给其他应用程序，kafka对zk的延迟和超时比较敏感，如果多个broker与zk断开连接，那么它们会离线，进而导致分区离线，也会给集群控制器造成压力。

最好让其他应用程序使用自己的Zookeeper群组。