kafka的安装与启动

安装部署

集群规划

集群部署

1.解压安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

2.修改解压后的文件名称

mv kafka_2.12-3.0.0/ kafka

3.进入解压后的文件名称

cd config/

vim server.properties 

修改以下内容：

broker.id=0

log.dirs=/opt/module/kafka/datas

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

4.分发安装包

5.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

6.配置环境变量

在/etc/profile.d/my_env.sh文件中添加kafka环境变量配置

sudo vim /etc/profile.d/my_env.sh

 增加如下内容：

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

 刷新一下环境变量

source /etc/profile

 分发环境变量文件到其他节点，并source

7.启动集群

先启动Zookeeper集群，然后启动Kafka

依次在hadoop102、hadoop103、hadoop104节点上启动Kafka

bin/kafka-server-start.sh -daem onconfig/server.properties

 8.关闭集群

bin/kafka-server-stop.sh

 主题命令行操作

1.查看操作出题命令参数

bin/kafka-topics.sh

 2.查看当前服务器中的所有topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

 3.创建first topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

 4.查看first主题的详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

 5.修改分区数

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

6.再次查看first主题的详情

 bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7.删除topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first