Kafka下载与安装教程（超级详细-实操）

一、下载kafka软件包

1、官网下载

（1）下载地址：Apache Kafka

（2）将下载好的安装包上传到服务器

2、使用wget命令下载

#使用wget方式下载
 
wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

二、解压kafka安装包

1、解压到/usr/local/目录下

tar -xzvf kafka_2.12-3.9.0.tgz  -C /usr/local

2、创建kafka数据目录

mkdir -p /usr/local/kafka_2.12-3.9.0/data/kafka-logs

3、配置环境变量

查看jdk安装目录命令：

readlink -f $(which java)

#vim /etc/profile
 
export JAVA_HOME=/usr/local/jdk8u272-b10/bin/java  #JDK安装目录
export ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-3.9.3-bin/ #zookeeper安装目录
export KAFKA_HOME=/usr/local/kafka_2.12-3.9.0/ #kafka安装目录
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin
 

4、使环境变量生效

source /etc/profile

5、编辑kafka配置文件

vim /usr/local/kafka_2.12-3.9.0/config/server.properties

节点1配置 ，注意：broker.id是每个broker在集群中的唯一标识，正整数

# 编辑kafka1 的配置
broker.id=1
 
# 连接zookeeper的集群地址
zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181
advertised.listeners=PLAINTEXT://10.22.82.31:9092
 
log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点2配置：

# 编辑kafka2 的配置
broker.id=2
 
# 连接zookeeper的集群地址
zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181
advertised.listeners=PLAINTEXT://10.22.82.32:9092
 
log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点3配置：

# 编辑kafka3 的配置
broker.id=3
 
# 连接zookeeper的集群地址
zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181
advertised.listeners=PLAINTEXT://10.22.82.33:9092
 
log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

三、启动kafka服务并验证 

#启动kafka服务
 
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
 
#集群停止
kafka-server-stop.sh

验证：创建topic  、查看topic、生产数据、消费数据进行测试

1.创建 topic
 
cd /usr/local/kafka_2.12-3.9.0
 
./bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \
--partitions 20 --replication-factor 3
 
注 ：此命令是在kafka部署目录中操作
kafka-topics.sh --bootstrap-server 10.22.82.33:9092 --create --topic my_topic_name
kafka-topics.sh --bootstrap-server 10.22.82.33:9092 --delete --topic my_topic_name
 
--列出主题
kafka-topics.sh --list --bootstrap-server 172.18.12.40:9092
my_topic_name
 
 
 
 
参数 详解 ：
 
--bootstrap-server ： kafka集群地址
--create ：执行创创建操作
--topic :topic名称
--partitions ：topic 的分区数
--replication-factor topic 的副本
--config： 可选，创建 topic指定topic参数 配置
 
 
创建生产者生产数据
[root@kafka1 bin]# kafka-console-producer.sh --broker-list 10.22.82.33:9092,10.22.82.33:9092,10.22.82.33:9092 --topic my_topic_name
>这是一个测试
 
测试消费者是否可以消费数据
[root@kafka2 config]# kafka-console-consumer.sh --bootstrap-server 10.22.82.33:9092 --topic my_topic_name --from-beginning
这是一个测试