1.版本
CDH5.9.1 安装KAFKA-2.0.2-1.2.0.2.p0.5-el6 https://archive.cloudera.com/kafka/parcels/2.0/ 失败
CDH5.9.1 安装KAFKA-2.1.0-1.2.1.0.p0.115-el6 https://archive.cloudera.com/kafka/parcels/2.1.0/ 失败
CDH5.10.0 安装KAFKA-2.1.1-1.2.1.1.p0.18-el6 https://archive.cloudera.com/kafka/parcels/latest/ 失败
2.错误描述
自定义kafka的parcel库,安装kafka服务,无法安装过去。
2.1 打开 stdout,stderr,Role Log 三个日志输出,
我们一般出现问题,只会看Role log的,这时抛错为" Will not attempt to authenticate using SASL (unknown error) ",这时我们就分析kafka连接不上zk,
于是Google,百度等等,各种检查一大堆,最后没有解决问题。
2.2具体排查:
3.Role log:
Opening socket connection to server sht-sgmhadoopdn-03/172.16.101.60:2181. Will not attempt to authenticate using SASL (unknown error)
4.stdout:
java.lang.OutOfMemoryError: Java heap space
5.stderr:
+ grep -q OnOutOfMemoryError /proc/14495/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=14495
++ date
+ echo Thu Mar 30 18:10:20 CST 2017
+ kill -9 14495
![bb](//img.blog.itpub.net/blog/attachment/201703/30/30089851_1490874115HAdX.jpg?x-oss-process=style/bb)
6.经过n次的排查操作,无效。这时我才仔细去看stdout 和 stderr日志,发现这么一句话“OnOutOfMemoryError”,
刚开始我已经注意到这句话,但是没有仔细去想,所以耗时差不多1.5工作日。
7.我们需要删除kafka服务,重新安装,那么最好也要将kafka的log.dirs参数的值为"/var/local/kafka/data",这个目录,安装的机器上手工删除掉。
8.于是我们另外打开cdh的home界面,发现kafka已经安装上,就是启动失败,然后去kafka的配置界面搜索"memory"字样,修改为1G,保存。
9.启动kafka即可。
10.思考
在第一次安装时,界面中没有配置这个参数的值。
为什么,为什么,为什么kafka的在安装时broker_max_heap_size这个参数设置的这么小?
CDH5.9.1 安装KAFKA-2.0.2-1.2.0.2.p0.5-el6 https://archive.cloudera.com/kafka/parcels/2.0/ 失败
CDH5.9.1 安装KAFKA-2.1.0-1.2.1.0.p0.115-el6 https://archive.cloudera.com/kafka/parcels/2.1.0/ 失败
CDH5.10.0 安装KAFKA-2.1.1-1.2.1.1.p0.18-el6 https://archive.cloudera.com/kafka/parcels/latest/ 失败
2.错误描述
自定义kafka的parcel库,安装kafka服务,无法安装过去。
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_14908722511qX4.jpg?x-oss-process=style/bb)
2.1 打开 stdout,stderr,Role Log 三个日志输出,
我们一般出现问题,只会看Role log的,这时抛错为" Will not attempt to authenticate using SASL (unknown error) ",这时我们就分析kafka连接不上zk,
于是Google,百度等等,各种检查一大堆,最后没有解决问题。
2.2具体排查:
- 防火墙,
- 端口号,
- /etc/hosts文件,
- zoo.cfg文件,
- 用户权限,
- kafka的zk jar包(客户端)和zookeeper的jar包版本,
- kafka broker进程的内存太小,直接oom
3.Role log:
Opening socket connection to server sht-sgmhadoopdn-03/172.16.101.60:2181. Will not attempt to authenticate using SASL (unknown error)
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_1490874006cnUF.jpg?x-oss-process=style/bb)
4.stdout:
java.lang.OutOfMemoryError: Java heap space
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_1490874017tvrl.jpg?x-oss-process=style/bb)
5.stderr:
+ grep -q OnOutOfMemoryError /proc/14495/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=14495
++ date
+ echo Thu Mar 30 18:10:20 CST 2017
+ kill -9 14495
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_1490874115HAdX.jpg?x-oss-process=style/bb)
6.经过n次的排查操作,无效。这时我才仔细去看stdout 和 stderr日志,发现这么一句话“OnOutOfMemoryError”,
刚开始我已经注意到这句话,但是没有仔细去想,所以耗时差不多1.5工作日。
7.我们需要删除kafka服务,重新安装,那么最好也要将kafka的log.dirs参数的值为"/var/local/kafka/data",这个目录,安装的机器上手工删除掉。
8.于是我们另外打开cdh的home界面,发现kafka已经安装上,就是启动失败,然后去kafka的配置界面搜索"memory"字样,修改为1G,保存。
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_1490875095iO3q.jpg?x-oss-process=style/bb)
9.启动kafka即可。
![bb](http://img.blog.itpub.net/blog/attachment/201703/30/30089851_1490875287ti6c.jpg?x-oss-process=style/bb)
10.思考
在第一次安装时,界面中没有配置这个参数的值。
为什么,为什么,为什么kafka的在安装时broker_max_heap_size这个参数设置的这么小?
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30089851/viewspace-2136372/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/30089851/viewspace-2136372/