【总结笔记】kafka工作常见问题汇总

• 没有禁用"自动创建topic"的功能

已经增加参数auto.create.topics.enable=false，否则任何人只要发数据给kafka，没有对应的topic都会自动创建，一旦生产者多了会乱套。

• 数据保留周期过短

已经修改为3天，log.retention.hours=72。默认是3小时，阿里云的破环境有时候网络出问题就得三小时，来不及消费的消息就没了。

• 节点有点少(一主一备，最小集群得3个，暂时2个也能玩)

咱们kafka broker就2个节点，创建topic一般会配置副本因为为1，副本和主本一般应该在不同的机器上，否则从数据冗余角度来说没啥意义。

• data目录跟mariadb的数据目录混在一起了

我重启kafka发现起不来，原因是数据目录下放了mariadb的数据，启动时kafka认为是一个topic的分区，结果检查数据发现不对就直接退出了。

由log.dirs=/data改为了log.dirs=/data/kafka

 

• 消费者无法消费的问题

这个问题有点隐蔽，打开host.name配置就好，在每个broker分配打开配置：host.name=10.45.41.173(各节点用自己的IP)，原因如下：

 

我们知道配置consumer时只需要提供zookeeper信息即可，consumer会从zk获取broker、topic、partition信息的。

而zk里存的这些信息是broker启动起来之后写到zk里的，broker有个配置项advertised.host.name，broker就是把它的值写到了zk。

 

advertised.host.name如果不配置，他会等于host.name的值，前提是host.name配置打开了，否则host.name的值就是java.net.InetAddress.getCanonicalHostName 的值，在mac上、windows上这个值返回IP，但在linux上这个值就是 hostname 的值。

 

一旦zk里存的是broker的hostname，而producers和consumers的/etc/hosts文件又没改，那他没法完成从hostname到IP的映射，因此就不能生产和消费。

 

• 已有topic的partition有点少

partition都只有2个，创建topic时可以多一点，比如16个，消费的时候一个partition对应一个线程比较合适