Kafka重装常见错误处理

Kafka重装常见错误处理

 

1. 分配Parcel时，久久没有激活，要去手动点击一下激活。

我在看那个进程的时候，眼看分配过程完成了，但是后面的“激活”流程走不动，要回到前面的页面手动点击“激活”一下就完成了。

中间过程没有截图，完成后的效果。

 

 

2. kafka重装时，可能会有新的Broker id和过去残留的broker id不一致。导致kafka broker启动失败。

对应的报错信息为：

Configured brokerId 120 doesn't match stored brokerId 63 in meta.properties

 

有三个地方都改成一致：

一个是log.dir目录下的meta.properties。这里面的broker id很可能是前一次安装后遗留下来的，从而导致与新的id不一致。

Log.dir目录的具体地址去配置中找。

 

如：

  

配置界面的broker id,

 

 

Server.properties中的broker id。

/opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/etc/kafka/conf.dist/server.properties

 

 

 

3. 白名单配置问题。表现为Kafka MirrorMaker启动失败。

错误信息：

whitelist must be specified when using new consumer in mirror maker

点击cm集群管理页面--kafka--instances--kafka mirrormaker--然后搜索Whitelist，然后提示mirrormaker default group,我就把刚才分配的时候设置的添加了进去。你在分配kafka生产环境是怎么分配的，你这里就怎么填。我的是hadoop2:9092
然后重启kafka，大功告成。

这里的hadoop2是kafka的服务节点。

 

4. kafka的java内存过低导致broker启动失败。

错误信息：在CM 界面中查看 broker的异常日志后，发现：OutofMemeryException

这是因为 Java Heap size of Broker这个选项默认配置是 50M ，需要将其修改成 256M 或者 更多，这里修改成 1G ，保存配置后，在启动kafka集群即可：