【kafka】集群的搭建
一、下载安装kafka
下载地址:http://kafka.apache.org/downloads
选择与安装的scala版本匹配的kafka版本,我的scala版本是2.11。
二、将下载好的压缩包上传到需要安装kafka的机器上,并解压缩至指定的目录下。
# tar -zxvf kafka_2.11-0.10.2.1.tgz -C apps/
三、修改配置文件
1. cd至kafka的安装目录下
2. 修改conf/server.properties配置文件:
这里配置文件是第一台机器的其它机器上基本一致,只需要修改
broker.id=0; listeners=PLAINTEXT://hdp-01:9092 这两个参数即可。
broker.id=0 listeners=PLAINTEXT://hdp-01:9092 log.dirs=/root/kafkadata num.partitions=3 zookeeper.connect=hdp-01:2181,hdp-02:2181,hdp-03:2181 |
3. 分发安装包:在这里我安装了3台机器
# for i in 2 3 ;do scp -r kafka_2.11-0.10.2.1 hdp-0$i:$PWD ;done
分发完成之后,必须修改其他机器上的配置,如下所示:
第二台机器:
第三台机器:
至此kafka安装完成
启动kafka
1. 启动kafka集群的命令:
# ./kafka-server-start.sh -daemon ../config/server.properties
2. 想要使用kafka,必须先把zookeeper启动。否则就会报错