1 Cloudera kafka集成
参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html
在CDH官网中关于Kafka的安装和升级中已经说到,在CDH中,Kafka作为一个分布式的parcel,单独出来作为parcel分发安装包。
1.1 Kafka parcels包下载
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载)
1.2 Kafka parcels包上传
上传 KAFKA-1.2.0.jar放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :
将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下,如图:
1.3 检查更新,分配激活
如下图,分配的kafka parcels必须要激活。
如下图,激活成功
1.4 往集群里添加kafka服务
如下图:
1.5 kafka配置
安装kafka服务时,会报java heap memory out
进主机各broker中配置一看,居然默认是50M(奇葩配置),改为2G以上
: