Kafka坑之二：版本更新

kafka的两个重要的版本节点：v0.10.0、v2.1.0

在0.10.0版本之前，kafka的offset都是交由zookeeper管理，因此必须要通过zookeeper才能连接到kafka集群。

在0.10.0版本到2.1.0之前的版本，是既可以通过zookeeper连接kafka集群，也可以直接通过kafka连接到集群。因为源码中对连接进行了判断。

在2.1.0及之后的版本，只能通过直连kafka到集群。

体现在kafka-console-consumer.sh命令行脚本中便是--bootstrap-server和--zookeeper的区别。

如果代码中使用了错误版本（maven或其他依赖jar包版本、CDH版本、Kafka版本），通过消费者消费数据、获取元数据等操作，会消费不到数据并可能报错：The coordinator is not available（但报这个错不一定是版本错误问题）.错误还会表现为可以通过kafka的shell命令消费数据，却不能通过代码进行消费。

另外在查询旧主题（Topic）时，也可能会报错，原因可能为原本offset相关数据是保存在zookeeper上的，而更新kafka集群版本后，无法再通过连接zookeeper的方式获取数据（kafka源码中已经没有涉及zookeeper的这部分代码了，并且在集群配置中也没有相关配置了），可以通过降低kafka版本处理，也可以通过删除zookeeper中的相关信息如/brokers/topics/__consumer_offsets，然后重启kafka解决。如果你还有更好的解决方法可以在下面留言。