Kafka的安装与使用

一、Kafka的安装

1.安装环境：

有三台虚拟机，并且已经将Hadoop环境和Zookeeper环境搭建好。

2.Kafka的下载：

官网：
http://kafka.apache.org/
下载地址：
http://kafka.apache.org/downloads.html

3.安装部署：

（1）将安装包上传到服务器并解压

[liu@master software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C ../module/

（2）在Kafka的安装目录下创建logs文件夹（用来存放运行日志）

[liu@master kafka-2.1]$ mkdir logs

（3）修改配置文件（kafka安装目录/config/server.properties）

[liu@master kafka-2.1]$ cd config/
[liu@master config]$ vi server.properties

添加以下内容：

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/home/liu/module/kafka-2.1/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=master:2181,server1:2181,server2:2181

（4）配置环境变量

[liu@master module]$ sudo vi /etc/profile
//添加环境
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

//刷新配置文件，使环境立刻生效
[liu@master module]$ source /etc/profile

（5）将kafka的安装包分发到另外两台从机

[liu@master module]$ scp -r kafka-2.1/ liu@server1:/home/liu/module
[liu@master module]$ scp -r kafka-2.1/ liu@server2:/home/liu/module
//分发完成后，记得修改从机的环境变量

（6）修改从机 kafka安装目录/config/server.properties文件的broker.id。 例如：broker.id=1 、 broker.id=2
注：broker.id不得重复

二、Kakfa的使用

1.启动/关闭Kakfa集群

[liu@master kafka-2.1]$ bin/kafka-server-start.sh config/server.properties &
[liu@master kafka-2.1]$ bin/kafka-server-stop.sh stop

2.Kafka 命令行操作

（1）查看服务器中所有的topic：
[liu@master kafka-2.1]$ bin/kafka-topics.sh --zookeeper master:2181 --list

（2）创建Topic：
[liu@master kafka-2.1]$ bin/kafka-topics.sh --zookeeper master:2181 --create --topic emp -replication-factor 3 --partitions 3
选项说明：
	--topic 定义topic名
	--replication-factor 定义副本数
	--partitions 定义分区数
	
（3）删除Topic：
[liu@master kafka-2.1]$ bin/kafka-topics.sh --zookeeper master:2181 --delete --topic emp
 	//需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
 
（4）发送消息：
[liu@master kafka-2.1]$ bin/kafka-console-producer.sh  --broker-list master:9092 --topic emp
	>hello world
	>123
	
（5）消费消息：
[liu@master kafka-2.1]$ bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic emp
选项说明：
	--from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

（6）查看某个Topic的详情：
[liu@master kafka-2.1]$ bin/kafka-topics.sh --zookeeper master:2181 --describe --topic emp

（7）配置消费者为同组（同组中的消费者，只能够消费 同一个topic 不同分区里的数据。）
	vi consumer.properties group.id=cv
	开启消费者：
	bin/kafka-console-consumer.sh --zookeeper master:2181 --topic demo --consumer.config config/consumer.properties