kafka安装配置

kafka安装配置

简介
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

kafka核心组件

• Topic

  消息根据Topic进行归类，可以理解为一个队列。

• Producer

  消息生产者，就是向kafka broker发消息的客户端。

• Consumer

  消息消费者，向kafka broker取消息的客户端。

• broker

  每个kafka实例(server)，一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多个topic。

• Zookeeper

  依赖集群保存meta信息。

1.准备软件包

将源码包上传至/data/kafka，并解压

[root@yzl-fbsszsf kafka]# ll
total 69872
-rw-r--r-- 1 root root 71542357 Sep 27 11:48 kafka_2.12-2.8.0.tgz
[root@yzl-fbsszsf kafka]# tar -zxvf kafka_2.12-2.8.0.tgz 

2.zookeeper

kafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。如果改成指定的ZK需要修改 kafka 安装目录下的 config/server.properties 文件中的 zookeeper.connect 。这里使用自带的ZK。

#修改config/server.properties
[root@yzl-fbsszsf config]# vim zookeeper.properties
dataDir=/data/kafka/data/zookeeper		#重新设置目录

#启动zookeeper
[root@yzl-fbsszsf kafka_2.12-2.8.0]# pwd
/data/kafka/kafka_2.12-2.8.0
[root@yzl-fbsszsf kafka_2.12-2.8.0]# nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties >> zookeeper.nohup &

3.kafka

修改配置文件

[root@yzl-fbsszsf kafka_2.12-2.8.0]# vim config/server.properties 
log.dirs=/data/kafka/data/kafka-logs				#修改log.dir
listeners=PLAINTEXT://10.10.10.1:9092			#取消注释，并修改为本地ip地址
advertised.listeners=PLAINTEXT://10.10.10.1:9092
zookeeper.connect=localhost:2181					#检查zookeeper配置

启动kafka

nohup ./bin/kafka-server-start.sh ./config/server.properties >> kafka.nohup &

4.kafka相关知识

• 创建Topic

创建一个名为test的topic，只有一个副本，一个分区：

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testT
或
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testT

查看已经创建的 topic：

sh bin/kafka-topics.sh -list -zookeeper localhost:2181
或
bin/kafka-topics.sh --list --zookeeper localhost:2181

• 启动Producer发送消息

打开一个窗口，在kafka解压目录下：

sh bin/kafka-console-producer.sh --broker-list 10.10.10.1:9092 --topic testT
或
bin/kafka-console-producer.sh --broker-list 10.10.10.1:9092 --topic testT

*注意：不要localhost:9092这样写，也不要127.0.0.1:9092这样写，正确的写法是：10.10.10.1:9092。

• 启动Consumer

在一个新的远程窗口中：

bin/kafka-console-consumer.sh --bootstrap-server 10.10.10.1:9092 --topic testT --from-beginning

此时，在Producer窗口发送消息，在Consumer窗口就打印出消费到的消息。

• 删除kafka全部数据步骤

1、停止每台机器上的kafka；
2、删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；
3、删除zookeeper上与kafka相关的znode节点；除了/zookeeper
4、重启kafka。