kafka-cdh5.11环境中集成部署kafka

1.准备

cdh集群搭建成功，且部署好zookeeper.因为kafka在CDH上要求用CDH上的Zookeeper管理而不是Kafka自带的Zookeeper管理。

集群：

cdh01  192.168.50.248

cdh02  192.168.50.249

cdh03  192.168.50.247

不同版本的cdh支持不同版本的kafka.根据官方的文档：

能够安装的kafka版本为2.1.x

下载需要的csd包 下载地址： http://archive.cloudera.com/csds/kafka/

下载kafka parcel包 下载地址：http://archive.cloudera.com/kafka/parcels/2.1.1/

下载框起来的三个文件。

2.部署

注意一下步骤所有节点均执行，不然会检测不到。

上传CSD包KAFKA-1.2.0.jar，到服务器CDH目录下，路径为/opt/cloudera/csd

上传parcel包中的那3个文件，到目录/opt/cloudera/parcel-repo下，注意如果有文件重名，如manifest那个文件，把以前的重命名为其他名字

将KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha1名称改为KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha

mv KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha1 KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha

进入cdh的 web页面 192.168.50.248:7180 用户名密码admin

3.kafka测试

创建一个topic:

  kafka-topics --create --zookeeper cdh01:2181,cdh02:2181,cdh03:2181 --replication-factor 1 --partitions 1 --topic lisery

查询所有topic:

kafka-topics --list --zookeeper cdh01:2181,cdh02:2181,cdh03:2181

创建消费：

 kafka-console-consumer --zookeeper cdh01:2181,cdh02:2181,cdh03:2181 --topic lisery

启动生产者：

 kafka-console-producer  --broker-list cdh01:9092 --topic lisery