kafka2.12-2.4.1简单教程

kafka2.12-2.4.1简单教程
首先先下载kafka2.12-2.4.1的版本的tgz的包
http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
下载完成后使用shell工具上传到/opt/software上

OK啊，废话不多说！Let’s go！

一、安装kaffa

进入/opt/software

cd /opt/software 
tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/module

前往/opt/module目录修改kafka名字

cd /opt/module
mv kafka_2.12-2.4.1 kafka

去配置环境变量

vim /etc/profile

添加以下文本

#KAFKA
export KAFKA_HOME= /opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin:$KAFKA_HOME/config

重启环境变量使其生效

source /etc/profile

二、配置kafka

前往kafka目录修改文件

cd /opt/module/kafka/config
vim server.properties

# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
advertised.listeners=PLAINTEXT://master:9092
# 指定Kafka数据的位置
log.dirs=/opt/module/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=master:2181,slave1:2181,slave2:2181

将kafka的文件分发到次节点

cd /opt/module

scp -r /opt/module/kafka/ root@slave1:/opt/module 
scp -r /opt/module/kafka/ root@slave2:/opt/module 
scp -r /etc/profile root@slave1:/etc/profile
scp -r /etc/profile root@slave2:/etc/profile

在slave1上修改server.properties

# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
advertised.listeners=PLAINTEXT://slave1:9092
# 指定Kafka数据的位置
log.dirs=/opt/module/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=master:2181,slave1:2181,slave2:2181

在slave2上修改server.properties

# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
advertised.listeners=PLAINTEXT://slave2:9092
# 指定Kafka数据的位置
log.dirs=/opt/module/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=master:2181,slave1:2181,slave2:2181

后台启动kafka

kafka-server-start.sh -daemon server.properties

测试kafka

$KAFKA_HOME/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 2 --topic installtopic

查看创建结果

 kafka-topics.sh --describe --topic installtopic --bootstrap-server localhost:9092