CDH版本5.7.X 安装Kafka流程
来源:http://blog.csdn.net/chlu113/article/details/51925650
1 Cloudera kafka集成
- 1
- 2
- 3
1.1 Kafka parcels包下载
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载)
1.2 Kafka parcels包上传
上传 KAFKA-1.2.0.jar放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :
将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下,如图:
1.3 检查更新,分配激活
如下图,分配的kafka parcels必须要激活。
如下图,激活成功
1.4 往集群里添加kafka服务
如下图:
1.5 kafka配置
安装kafka服务时,会报java heap memory out
进主机各broker中配置一看,居然默认是50M(奇葩配置),改为2G以上
:
![](http://avatar.csdn.net/0/4/4/1_u010077555.jpg)