Kafka集群安装和部署（入门级）

 1 安装部署 
1.1 集群规划 

1.2zookeeper的安装

zookeeper

1.3集群部署

1）解压安装包 
 

[root@master softs]# tar -zxvf kafka_2.11-2.0.0\ .tgz -C /opt/apps/

 2）修改解压后的文件名称 

[root@master apps]#  mv kafka_2.11-2.0.0/ kafka 

3）在/opt/apps/kafka 目录下创建 logs 文件夹 

[root@master kafka]#  mkdir logs 

4）修改配置文件 

[root@master kafka]#  cd config/ 
[root@master config]#  vi server.properties 

自行修改

broker.id=0
delete.topic.enable=true

log.dirs=/opt/apps/kafka/logs

 

zookeeper.connect=master:2181,slave1:2181,slave2:2181

 broker 的唯一编号，不能重复等下分发之后一定要修改

 kafka 运行日志存放的路径

 配置连接 Zookeeper 集群地址

 5）配置环境变量 

[root@master apps]# vi /root/.bash_profile

#KAFKA_HOME
export KAFKA_HOME=/opt/apps/kafka
export PATH=$PATH:$KAFKA_HOME/bin

[root@master apps]# source /root/.bash_profile

6）分发安装包分别在 slave1和 slave2 上修改配置文件/opt/apps/kafka/config/server.properties
中的 broker.id=1、broker.id=2 
 注意：分发之后记得配置其他机器的环境变量，broker.id 不得重复 

 

 7）启动集群 

依次在 master、slave1、slave2 节点上启动 kafka 
 

[root@master kafka]# bin/kafka-server-start.sh -daemon 
config/server.properties 
[root@slave1 kafka]# bin/kafka-server-start.sh -daemon 
config/server.properties 
[root@slave2 kafka]# bin/kafka-server-start.sh -daemon 
config/server.properties

8）如果不需要停止，这一步可以跳过

[root@master kafka]# bin/kafka-server-stop.sh stop 
[root@slave1 kafka]# bin/kafka-server-stop.sh stop 
[root@slave2 kafka]# bin/kafka-server-stop.sh stop 

9）Kafka 命令行操作

1）查看当前服务器中的所有 topic 

[root@master kafka]# bin/kafka-topics.sh --zookeeper master:2181 --list

2）创建 topic 
 

[root@master kafka]# bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 1 --partitions 1 --topic data

3）删除 topic 

[root@master kafka]# bin/kafka-topics.sh --zookeeper master:2181 --delete --topic datas

需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除。 
4）发送消息 

[root@master kafka]# bin/kafka-console-producer.sh --broker-list master:9092 --topic data

5）消费消息 
 

[root@master kafka]# bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic data

--from-beginning：会把主题中以往所有的数据都读取出来。

 

 

6）查看某个 Topic 的详情 
 

[root@master kafka]# bin/kafka-topics.sh --zookeeper master:2181 --describe --topic data

7）修改分区数 
 

[root@master kafka]# bin/kafka-topics.sh --zookeeper master:2181 --alter --topic data --partitions 3