Kafka分布式集群搭建

一、Kafka分布式集群的搭建

1、下载，解压Kafka文件

tar -zxvf kafka_2.12-3.1.0.tgz

2、配置kafka环境变量

vim /etc/profile.d/my_env.sh

使配置文件生效

source /etc/prifile

3、修改配置文件

vim /opt/kafka/conf/server.properties

：set nu #行号方便查看

配置kafa服务器的编号，一个集群中该值为唯一的，不能重复，并且是一个数字

broker.id=X

Kafka运行日志文件存放路径，也是kafka存放数据的路径

配置kafka链接的zookeeper集群地址，多台服务器之间使用“，”分开，后面加上一个路径，则便于对数据管理

slavel1等服务器是/etc/hosts文件中配置的域名和 IP 的映射关系

 /k_data打错了删除掉

4、分发文件

发送环境变量配置文件

scp -r /etc/profile.d/my_env.sh hadoop02:/etc/profile.d/

scp -r /etc/profile.d/my_env.sh hadoop03:/etc/profile.d/

在slave2,slave3中分别

source /etc/profile #使环境变量配置文件生效

5、修改broker.id

Hadoop02

vim /opt/kafka/conf/server.properties

Hadoop03

vim /opt/kafka/conf/server.properties

6、启动kafka集群

先启动zookeeper,在集群每台机器都执行一遍

cd /opt/zookeeper/bin

zkServer.sh start

启动kafka

       

jps查看三台机器进程

7、停止kafka集群

cd /opt/kafka/bin

停止kafka

./kafka-server-stop.sh

jps确认，记得关闭zookeeper

二、Kafka命令行操作

topic（主题）的常用参数：

参数	说明
--bootstrap-server <String: server to        connect to>	配置连接的Kafka的主机名和端口号
--topic <String :topic>	设置topic的名称
--create	创建一个topic
--delete	删除topic
--alter	修改topic
--list	查看所有topic
--describe	查看指定主题的详细信息
--partitions <Integer: # of partitions>	设置topic分区数量
--replication-factor <Integer:                  replication factor>	设置topic分区副本数量

1、创建一个topic

./kafka-topics.sh --bootstrap-server slave1:9092 --create --topic kaf --partitions 3 --replication-factor 3

查看topic

./kafka-topics.sh --bootstrap-server slave1:9092 --list

2、生产者往刚创建的topic中推送数据

常用参数

参数	说明
--bootstrap-server <String: server to        connect to>	配置连接的Kafka的主机名和端口号
--topic<String :topic>	指定操作的topic名称

[{"a"："1","b"："2","c"："3"}]

3、消费者从topic中拉取数据

常用参数

参数	说明
--bootstrap-server <String: server to        connect to>	配置连接的Kafka的主机名和端口号
--topic<String :topic>	指定操作的topic名称
--from-beginning	指定消费者从开始进行消费，即可以消费生产者生产的所有数据