Kafka之二：Kafka集群的安装

Kafka之二：Kafka集群的安装

---

---

Kafka之一：Kafka简述
Kafka之三：Kafka集群工作流程
Kafka之四：Kafka与Streaming集成

---

一、Kafka集群的安装

1.解压、删除、重命名

2.在kafka文件下建一个文件夹logs

mkdir logs

3.修改配置文件

vim server.properties

	参数解读：(修改***部分)
	
			***
			#broker的全局唯一编号，不能重复
			broker.id=0
			#删除topic功能使能
			delete.topic.enable=true
			***
			
			#处理网络请求的线程数量
			num.network.threads=3
			#用来处理磁盘IO的现成数量
			num.io.threads=8
			#发送套接字的缓冲区大小
			socket.send.buffer.bytes=102400
			#接收套接字的缓冲区大小
			socket.receive.buffer.bytes=102400
			#请求套接字的缓冲区大小
			socket.request.max.bytes=104857600
			
			***
			#kafka运行日志存放的路径
			log.dirs=/home/duck/software/kafka/logs
			***
			
			#topic在当前broker上的分区个数
			num.partitions=1
			#用来恢复和清理data下数据的线程数量
			num.recovery.threads.per.data.dir=1
			#segment文件保留的最长时间，超时将被删除
			log.retention.hours=168
			***
			#配置连接Zookeeper集群地址
			zookeeper.connect=Cloud01:2181,Cloud02:2181,Cloud03:2181
			***

4.同步其他机器文件

scp -r kafka hduser@Cloud02:~/software
scp -r kafka hduser@Cloud03:~/software

5.修改另外两台机器的配置文件
/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重复

6.启动集群
启动三台装好Kafka集群的机器

bin/kafka-server-start.sh config/server.properties

7.关闭集群

bin/kafka-server-stop.sh stop

---

二、Kafka命令行操作

1.查看当前服务器的所有topic

bin/kafka-topics.sh --list --zookeeper Cloud01:2181

2.创建topic

bin/kafka-topics.sh --create --zookeeper Cloud01:2181 --partitions 2 --replication-factor 2 --topic first

查看一下

bin/kafka-topics.sh --list --zookeeper Cloud01:2181

3.删除topic

bin/kafka-topics.sh --zookeeper Cloud01:2181 --delete --topic first

4.发送消息

bin/kafka-console-producer.sh --broker-list Cloud01:9092 -topic first

然后输入需要发送的消息。

5.消费消息

bin/kafka-console-consumer.sh --zookeeper Cloud01:2181 --topic first

6.查看某个topic的详情

bin/kafka-topics .sh --zookeeper Cloud01:2181 --describe --topic first   

---

--->有问题请联系QQ1436281495^_^

---