Kafka安装部署

最新推荐文章于 2022-01-01 00:12:01 发布

MelodyYN

最新推荐文章于 2022-01-01 00:12:01 发布

阅读量440

点赞数

分类专栏： # Kafka 文章标签： kafka zookeeper 分布式

本文链接：https://blog.csdn.net/qq_36593748/article/details/122225747

版权

Kafka 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

本文详细介绍了Kafka在多节点环境下的安装部署步骤，包括配置修改、环境变量设置、集群启动脚本创建等。同时，针对Kafka启动异常的问题，提供了删除数据目录和Zookeeper中相关节点的解决办法。最后，列举了常用Kafka命令行操作，如查看topic、创建与删除topic、生产与消费消息等。

摘要由CSDN通过智能技术生成

文章目录

Kafka安装部署

Kafka安装部署

1、部署规划

hadoop102	hadoop103	hadoop104
zk	zk	zk
kafka	kafka	kafka

2、集群部署

1.解压安装至指定路径，然后改名

tar -zxvf apache.kafka_2.11-2.4.1.tgz -C /opt/module/
mv apache.kafka_2.11-2.4.1 kafka_2.11-2.4.1

2.修改配置文件：kafka路径下config目录中的server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能,当前版本此配置默认为true，已从配置文件移除
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka数据存放的路径
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址，需要我们配置三个，否则其中一个zookeeper 宕机了，kafka会默认zookeeper不能使用，因此我们需要对kafka配三台zookeeper
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

注意：broker.id每个节点不能重复；

3.环境变量

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

4.将kafka和环境变量分发，各个节点source，并修改其余两个节点的kafka路径下config目录中的server.properties

将broker.id分别修改为1和2

5.启动集群

先启动Zookeeper集群，然后启动kafka

关闭时，先关闭kafka直至所有节点kafka关闭再关闭zookeeper。否则kafka出现异常。

kafka群起脚本：

#! /bin/bash
case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh stop"
    done
};;
esac

Kafka启动异常：

kafka关闭的前提下，删除其目录中的datas/和logs/
将zookeeper中的/kafka节点删除
```
zkCli.sh
deleteall /kafka
```
再次正常启动zookeeper和kafka即可。

3、Kafka命令行操作

查看当前服务器中的所有topic

1.kafka-topics.sh --zookeeper hadoop102:2181/kafka –
list(不推荐使用)
2.kafka-topics.sh --bootstrap-server hadoop102:9092 -list

查看某个Topic的详情

kafka-topics.sh --bootstrap-server hadoop102:9092 -describe --topic first

创建topic

kafka-topics.sh --bootstrap-server hadoop102:9092 -create --replication-factor 2 --partitions 1 --topic first

修改分区数（修改topic的配置，只能修改分区数。而且只能往大的修改，不能往小的修改）
```
kafka-topics.sh --bootstrap-server hadoop102:9092 -alter --topic first --partitions 3
```

删除topic

kafka-topics.sh --bootstrap-server hadoop102:9092 -delete --topic first

生产者发送消息到指定topic

kafka-console-producer.sh --broker-list hadoop102:9092 --topic first

消费者消费指定topic消息

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first