CDH大数据平台搭建之KAFKA集群搭建

---

一、安装规划

请参考CHD大数据平台搭建之集群规划

二、下载KAFKA

1.官网下载

2.网盘下载 提取码：cdh5

注意事项：网盘的是配套的scala和kafka，自行下载注意版本要匹配

三、安装及配置

1、先安装zookeeper

请参考CHD大数据平台搭建之ZOOKEEPER安装

2、解压

tar -zxvf kafka_2.11-0.8.2.1.tgz -C /opt/modules/

3、新建文件夹

mkdir-p /opt/modules/kafka_2.11-0.8.2.1/data/kafkaLog

4、修改config目录server.properties文件

1、broker.id=0  # id唯一，第一台为0，第二台为1....
2、port=9092
3、host.name=bigdata-training01.hpsk.com # 和当前机器对应
4、log.dirs=/home/lengqing/modules/kafka_2.11-0.8.2.1/data/kafkaLog
5、zookeeper.connect=bigdata-training03.hpsk.com:2181,bigdata-training04.hpsk.com:2181,bigdata-training05.hpsk.com:2181/kafka

5、配置环境变量

1、编辑文件(root用户)

vi /etc/profile

2、添加如下内容

#KAFKA_HOME
export KAFKA_HOME=/opt/modules/kafka_2.11-0.8.2.1
export PATH=$PATH:$KAFKA_HOME/bin

6、分发文件

1、分发文件到192和194二台机器

scp -r /opt/modules/kafka_2.11-0.8.2.1 hpsk@10.192.8.192:/opt/modules/

2、修改192的配置文件

broker.id=1  # id唯一，第一台为0，第二台为1....
host.name=bigdata-training02.hpsk.com # 和当前机器对应

3、修改194的配置文件

broker.id=2  # id唯一，第一台为0，第二台为1....
host.name=bigdata-training04.hpsk.com # 和当前机器对应

4、配置192和194环境变量

参考上述配置

四、启动

1、启动命令

注意：先启动ZK,再启动每台机器的kafka

bin/kafka-server-start.sh -daemon config/server.properties

2、验证

jps命令有kafka进程

---

总结

由于kafka用作消息队列，故配置简单点，其他kafka自动的功能后续也基本不使用。