Red Hat Linux 6.5 安装Kafka 集群

一，安装环境：

操作系统：Red Hat Linux 6.5

JDK版本：1.8.0_151 //需先安装JDK

Zookeeper版本：3.4.12

Kafka版本：2.11-1.1.0

IP地址：

10.11.111.42
10.11.111.43
10.11.111.45

主机名：

mrzwk-5
mrzwk-6
mrzwk-8

备注：搭建kafka集群前提是安装好zookeeper集群

https://mp.csdn.net/postedit/80484471

安装kafka集群

#下载

http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

#解压

# cd /home/weihu
# tar -zxvf kafka_2.11-1.1.0.tgz -C kafka

# cd /home/weihu/kafka
# ln -s kafka_2.11-1.1.0 kafka
# cd kafka

#修改kafka配置文件

#cd cd /home/weihu/kafka/kafka/config
#vi server.properties

添加修改如下列：

#mrzwk-5

broker.id=0
host.name=10.11.111.42
advertised.listeners=PLAINTEXT://10.11.111.42:9092
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/kafka/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181
zookeeper.connection.timeout.ms=1000000

#mrzwk-6

broker.id=1
host.name=10.11.111.43
advertised.listeners=PLAINTEXT://10.11.111.43:9092
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/kafka/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181
zookeeper.connection.timeout.ms=1000000

#mrzwk-8

broker.id=2
host.name=10.11.111.45
advertised.listeners=PLAINTEXT://10.11.111.45:9092
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/kafka/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181
zookeeper.connection.timeout.ms=1000000

#每个Broker保持唯一，可从0开始递增编号

启动kafka:

先要确保zookeeper已启动，然后分别在3台主机上所有的Kafka目录执行

# bin/kafka-server-start.sh config/server.properties&

如果无报错则说明启动成功

验证kafka安装结果

创建topic–test

列出已创建的topic列表
# cd /usr/local/kafka
#./bin/kafka-topics.sh --create --zookeeper mrzwk-5:2181, mrzwk-6:2181, mrzwk-8:2181 --replication-factor 3 --partitions 3 --topic test

#./bin/kafka-topics.sh --list --zookeeper localhost:2181

模拟客户端去发送消息

#./bin/kafka-console-producer.sh --broker-list mrzwk-5:9092, mrzwk-6:9092, mrzwk-8:9092 --topic test

模拟客户端去接受消息

#./bin/kafka-console-consumer.sh --zookeeper mrzwk-5:2181, mrzwk-6:2181, mrzwk-8:2181 --from-beginning --topic test

三台成功接收消息表示安装无误。