Kafka_2.12-2.4.1集群安装部署

目录

1：下载Kafka

2：修改配置文件server.properties

3：将hadoop01的kafka复制到hadoop02和hadoop03

4：在hadoop02上操作

5：在hadoop03上操作

6启动Kafka

7：测试Kafka能否正常使用

---

3台：

hadoop集群

名称	IP
hadoop01	192.168.204.130
hadoop02	192.168.204.131
hadoop03	192.168.204.132

1：下载Kafka

cd /mwd
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
cd /export/server/
ln -s //export/server/kafka_2.12-2.4.1 /export/server/kafka

2：修改配置文件server.properties

cd /export/server/kafka/config
vim server.properties

# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://hadoop01:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

3：将hadoop01的kafka复制到hadoop02和hadoop03

cd /export/server

scp -r /export/server/kafka_2.12-2.4.1/ root@hadoop02:/export/server/

scp -r /export/server/kafka_2.12-2.4.1/ root@hadoop03:/export/server/

4：在hadoop02上操作

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://hadoop02:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

5：在hadoop03上操作

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://hadoop03:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

6启动Kafka

# 请先确保Zookeeper已经启动了

# 方式1：【前台启动】分别在hadoop01、2、3上执行如下语句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2：【后台启动】分别在hadoop01、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

# 在每一台服务器执行
jps

7：测试Kafka能否正常使用

1. 创建测试主题

# 在hadoop01执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic test

1. 运行测试，请在FinalShell中打开2个的终端页面

# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic test --from-beginning