1、kafka集群搭建

学习尚硅谷kafka教程记录的笔记，视频地址： kafka3.x教程

1、kafka集群搭建

• 解压

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

• 修改解压后的文件名称，将改好名的kafka文件夹复制到另外两台机器

mv kafka_2.12-3.0.0/ kafka

• 修改配置

cd /opt/module/kafka/config
vim server.properties

#修改以下内容
#broker 的全局唯一编号，不能重复，只能是数字。
broker.id=0
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
#配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
fka

• 将server.properties文件同步到另外两台机器，并修改另外两台机器的broker.id为1和2

注：broker.id 不得重复，整个集群中唯一。

• 配置环境变量，在另外两台机器上也要配置

vim /etc/profile.d/my_env.sh

#增加如下内容：
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

• 启动集群

先启动 Zookeeper 集群，然后启动 Kafka。

Zookeeper 集群启动方式在上篇文章中写过。

#依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka。
cd /opt/module/kafka/
bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server.properties  
bin/kafka-server-start.sh -daemon config/server.properties

• 关闭集群

cd /opt/module/kafka/
bin/kafka-server-stop.sh 
bin/kafka-server-stop.sh 
bin/kafka-server-stop.sh

kafka基本的命令操作

topic操作命令

• 查看当前服务器中的所有 topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

• 创建topic

#需要指定分区数和副本数
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic topicname

• 查看 topic 主题的详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic topicname

• 修改分区数（注意：分区数只能增加，不能减少）

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic topicname --partitions 3

生产者命令行操作

• 发送消息

bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic topicname
>hello world

消费者命令行操作

#不消费历史数据
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topicname
#把主题中所有的数据都读取出来（包括历史数据）。
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic topicname