Kafka集成

1.安装

1.1 在cm主节点服务器上下载包

wget http://archive.cloudera.com/kafka/parcels/2.1.2/KAFKA-2.1.2-1.2.1.2.p0.6-el7.parcel
wget http://archive.cloudera.com/kafka/parcels/2.1.2/KAFKA-2.1.2-1.2.1.2.p0.6-el7.parcel.sha1
wget http://archive.cloudera.com/kafka/parcels/2.1.2/manifest.json

1.2 将.sha1 后缀改为 .sha

1.3 把上述文件复制到 /opt/cloudera/parcel-repo目录下，如果有文件重名，如manifest.json，把以前的重命名后再复制Kafka的manifest.json文件。

2.添加服务

2.1 分配、激活

• 登陆Cloudera Manager页面，主机->parcel->检查新parcel
• 找到KAFKA-2.1.2-1.2.1.2.p0.6，点击分配
• 分配成功后点击激活

2.2 添加配置

• 选择集群，添加服务
  

• Broker ID：Kafka默认均为0，自行修改为不相同的数字

• Source Broker List: 所有安装Kafka和zookeeper的集群主机ip（用,分割）