CDH安装Kafka, 简称CDK安装（图解安装）

一 下载包裹文件

http://archive.cloudera.com/kafka/parcels/4.1.0/

创建下载的目录，并cd进去

mkdir kafka_parcel
cd kafka_parcel

下载三个文件

wget http://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel
wget http://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1
wget http://archive.cloudera.com/kafka/parcels/4.1.0/manifest.json

下载完成后，把.sha1改成.sha

mv KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1 KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha

结果如下图：

二 安装httpd

这里配置httpd的目的是为了，制作本地仓库的意思，为了后续可以通过界面配置进行分发

先安装httpd

yum install -y httpd

然后启动httpd服务

systemctl start httpd

查看是否安装成功

web界面再看下是否成功，默认是80端口

然后移动包裹文件

mv kafka_parcel /var/www/html/

然后查看下本地仓库地址

三 对parcel进行分发和激活

首先配置下parcel本地仓库地址

单击Configuration

配置kafka的url

然后点击下载

点击Distribute分发

点击Activate激活

四 添加服务

进入cloudera manager，点击add service

选择kafka

选择kafka broker

选择要部署的机器

点击Continue

设置kafka元数据存储在zk的目录

到这里kafka安装成功


到这里CDK安装结束

五 测试数据

1.先创建一个topic

/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh \
--create \
--zookeeper hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka \
--replication-factor 3 \
--partitions 3 \
--topic test_topic

2.使用生产者

./kafka-console-producer.sh \
--broker-list hadoop001:9092,hadoop002:9092,hadoop003:9092 \
--topic test_topic

3.使用消费者

./kafka-console-consumer.sh \
--bootstrap-server hadoop001:9092,hadoop002:9092,hadoop003:9092 \
--from-beginning \
--topic test_topic

说明我们的CDK安装成功