Kafka 集群的安装与配置

Kafka 集群的安装与配置

还是我们的三台虚拟机：master、slave1、slave2
安装Kafka需要先安装Zookeeper，Zookeeper集群的安装可以查看我的另外一篇博客

1 在每台机器上

1.1 下载与解压

去官网下载Kafka
http://kafka.apache.org/downloads.html
我下载的是 kafka_2.11-0.9.0.0.tgz
解压到/usr下

tar -zxvf kafka_2.11-0.9.0.0.tgz -C /usr/

1.2 修改环境变量

在/etc/profile最后添加

# set kafka environment
export KAFKA_HOME=/usr/kafka_2.11-0.9.0.0
export PATH=$PATH:$KAFKA_HOME/bin

生效 source /etc/profile

2 分别在每台机器上

这里我们只列出需要修改的项，其他的先默认即可
master

broker.id=1
port=9092
host.name=master
advertised.host.name=master
num.partitions=2
zookeeper.connect=master:2181,slave1:2181,slave2:2181

slave1

broker.id=2
port=9092
host.name=slave1
advertised.host.name=slave1
num.partitions=2
zookeeper.connect=master:2181,slave1:2181,slave2:2181

slave2

broker.id=3
port=9092
host.name=slave2
advertised.host.name=slave2
num.partitions=2
zookeeper.connect=master:2181,slave1:2181,slave2:2181

3 在每台机器上启动kafka

先启动Zookeeper

zkServer.sh start

启动kafka

kafka-server-start.sh /usr/kafka_2.11-0.9.0.0/config/server.properties

停止kafka

kafka-server-stop.sh

4 测试集群可用性

在master上新建一个topic test

kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper master:2181

在slave1上模拟一个生产者

kafka-console-producer.sh --broker-list master:9092 --sync --topic test
# 输入message
Hello Kafka

在slave2上模拟一个消费者

kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

如果看到输出Hello Kafka证明消费到了，也即kafka集群搭建成功^_^