CDH集群集成kafka

搭建要求：

1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper

2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中

搭建步骤

1. 主机操作

修改hosts

10.10.0.11 s1-1

10.10.0.12 s1-2

10.10.0.13 s1-3

10.10.0.14 s1-4

10.10.0.15 s2-1

10.10.0.16 s2-2

10.10.0.17 s2-3

10.10.0.18 s2-4

10.10.0.19 s3-1

10.10.0.20 s3-2

10.10.0.21 s3-3

10.10.0.22 s3-4

10.10.0.23 s4-1

10.10.0.24 s4-2

2. zookeeper操作(13/17/21服务器)

1.cd /usr/lib/zookeeper/conf/

2.vi zoo.cfg

3.添加以下内容

#kafka server

10.10.0.12 s1-2

10.10.0.16 s2-2

10.10.0.20 s3-2

# zookeeper cluster

server.1=s1-3:2888:3888

server.2=s2-3:2888:3888

server.3=s3-3:2888:3888

4.每台机器上生成myid:

 

13:

$ echo "1" >/var/lib/zookeeper/myid

17:

$ echo "2" >/var/lib/zookeeper/myid

21:

$ echo "3" >/var/lib/zookeeper/myid

3. kafka操作(12/16/20服务器)

1.cd /usr/lib/kafka

2.tar -zxvf kafka_2.11-0.8.2.1.tgz

3.cd kafka_2.11-0.8.2.1/config/

4.vi server.properties

broker.id=1,其他两个为2,3

port=9092 其他两个为9093,9094

hostname=10.10.0.12，其他两个为10.10.0.16，10.10.0.20

zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

4.cdh管理界面重启zookeeper

依次关闭yarn，HBase，HDFS，zookeeper，然后反顺序开启

5启动kafka

12/16/20

./bin/kafka-server-start.shconfig/server.properties &

6.测试

1.jps显示有kakka

2.  创建Topic

./bin/kafka-topics.sh --create --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 --replication-factor 1 --partitions1 --topic page_visits

3.  查看命令

./bin/kafka-topics.sh --list --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181