kafka多集群部署

把书读薄(Kafka权威指南 第八章)

常见的集群模式比较

1. Hub架构。一个中心的kafka集群做中央调度，对应多个本地的kafka集群。【变种是一个关键的kafka集群对应一个非关键的跟随者】
优点：只有本地用到的数据就在本地使用，多个数据中心需要用到的数据就放在中央，从本地同步到远程的次数也就只有一次，这样读取的时候，需要本地的就本地读，否则远程读，也就是消费者只需要从一个集群读数据即可
缺点：一个数据中心的不能访问另一数据中心的
2. 双活架构。 多个集群之间保持数据同步。
优点：一个集群挂掉可以直接转向另外一个，而且可以就近的提供服务
缺点：集群之间同步数据如何避免冲突，保证数据一致性
3. 主备架构。有两个集群，平常只用主集群， 另外一个集群只有当主集群出了问题才用。
优点：不需要担心数据访问和冲突问题
缺点：有一个集群的资源浪费，同时需要考虑备份的量的问题，以及恢复的过程中是否可以重复数据或者丢失部分数据
4. 延展集群。单个数据中心故障的时候，重新定位到另一个数据中心 。
优点：有一定的灾备能力，一个中心挂了，使用另一个，延展集群不是多个集群而是一个集群，使用的方式是kafka内部的复制机制，把数据放到其他的broker,而不是集群之间的复制与同步
缺点：kafka本身出了问题无法避免