kafka搭建

kafka运行环境

kafka是由Scala语言编写而成，Scala 运行在Java虚拟机上，并兼容现有的Java程序，因此部署kakfa的时候，需要先安装JDK环境；
Kafka源码: https://github.com/apache/kafka
Scala：https://www.scala-lang.org/
1、Linux上需要安装Java环境
2、Linux上安装Zookeeper
官网：https://zookeeper.apache.org/
下载：https://zookeeper.apache.org/releases.html
解压：tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz，即完成了安装，然后配置zookeeper：

[root@bogon local]# cd apache-zookeeper-3.5.5-bin/
[root@bogon apache-zookeeper-3.5.5-bin]# ll
总用量 32
drwxr-xr-x. 2 2002 2002   232 4月   9 2019 bin
drwxr-xr-x. 2 2002 2002    92 11月 16 21:09 conf
drwxr-xr-x. 3 root root    23 5月  26 18:37 data
drwxr-xr-x. 5 2002 2002  4096 5月   3 2019 docs
drwxr-xr-x. 2 root root  4096 5月  25 17:20 lib
-rw-r--r--. 1 2002 2002 11358 2月  15 2019 LICENSE.txt
drwxr-xr-x. 2 root root    45 5月  25 17:22 logs
-rw-r--r--. 1 2002 2002   432 4月   9 2019 NOTICE.txt
-rw-r--r--. 1 2002 2002  1560 5月   3 2019 README.md
-rw-r--r--. 1 2002 2002  1347 4月   2 2019 README_packaging.txt
[root@bogon apache-zookeeper-3.5.5-bin]# vim conf/zoo.cfg 
dataDir=/usr/local/apache-zookeeper-3.5.5-bin/data
admin.serverPort=8907  #（添加一下该配置项）
[root@bogon apache-zookeeper-3.5.5-bin]]#cd bin
[root@bogon bin]#./zkServer.sh start(启动zookeeper：)

3、Linux上安装Kafka；
下载：https://kafka.apache.org/downloads

其中kafka_2.13中的2.13表示的是scala的版本，因为Kafka服务器代码完全由Scala语言编写，- 后面的3.3.1表示kafka的版本；

[root@bogon local]# cd tar -zxvf kafka_2.13-3.2.0.tgz（解压kafka）
[root@bogon local]# cd kafka_2.13-3.2.0/
[root@bogon kafka_2.13-3.2.0]# ll
总用量 68
drwxr-xr-x. 3 root root  4096 5月   3 2022 bin
drwxr-xr-x. 3 root root  4096 11月 16 21:15 config
drwxr-xr-x. 2 root root  8192 5月  25 17:34 libs
-rw-r--r--. 1 root root 14640 5月   3 2022 LICENSE
drwxr-xr-x. 2 root root   262 5月   3 2022 licenses
drwxr-xr-x. 2 root root  4096 5月  26 17:55 logs
-rw-r--r--. 1 root root 28184 5月   3 2022 NOTICE
drwxr-xr-x. 2 root root    44 5月   3 2022 site-docs
[root@bogon kafka_2.13-3.2.0]# vim config/server.properties（修改配置）
listeners=PLAINTEXT://192.168.172.127:9092
advertised.listeners=PLAINTEXT://192.168.172.127:9092
zookeeper.connect=localhost:2181
[root@bogon bin]# ./kafka-server-start.sh ../config/server.properties & （指定配置启动）

Kafka启动后默认端口：9092
查看kafka进程：ps -ef | grep kafka 或者 jps
注：kafka启动需要先启动zookeeper；
关闭kafka：./kafka-server-stop.sh ../config/server.properties

Kafka核心配置文件

server.properties配置文件

#唯一的服务器id,每台机器分别不一样
broker.id=1
#监听ip和端口
listeners=PLAINTEXT://192.168.172.131:9092
#节点需要绑定的主机名称，如果没有设置，服务器会绑定到所有接口
host.name=192.168.172.131
#节点的主机名会通知给生产者和消费者，如果没有设置，它将会使用"host.name"的值（前提是设置了host.name），否则他会使用java.net.InetAddress.getCanonicalHostName()的返回值
advertised.listeners=PLAINTEXT://192.168.172.131:9092
#接受网络请求的线程数
num.network.threads=3
#进行磁盘IO的线程数
num.io.threads=8
#套接字服务器使用的发送缓冲区大小
socket.send.buffer.bytes=102400
#套接字服务器使用的接收缓冲区大小
socket.receive.buffer.bytes=102400
#单个请求最大能接收的数据量
socket.request.max.bytes=104857600
#用来存储日志文件
log.dirs=/tmp/kafka-logs
#每个主题的日志分区的默认数量，更多的分区允许更大的并行操作，但是它会导致节点产生更多的文件
num.partitions=1
#每个数据目录中的线程数，用于在启动时日志恢复，并在关闭时刷新
num.recovery.threads.per.data.dir=1
#在强制刷新数据到磁盘执行时允许接收消息的数量
#log.flush.interval.messages=10000
#在强制刷新之前，消息可以在日志中停留的最长时间
#log.flush.interval.ms=1000
#一个日志的最小存活时间，可以被删除
log.retention.hours=168
#一个基于大小的日志保留策略，段将被从日志中删除只要剩下的部分段不低于log.retention.bytes
#log.retention.bytes=1073741824
#每一个日志段大小的最大值。当到达这个大小时，会生成一个新的片段。
log.segment.bytes=1073741824
#检查日志段的时间间隔，看是否可以根据保留策略删除它们
log.retention.check.interval.ms=300000
#这是一个以逗号为分割的部分，每一个都匹配一个Zookeeper，选举的时候依赖于zookeeper，写下zookeeper的地址
zookeeper.connect=192.168.72.130:2181,192.168.72.131:2181,192.168.72.132:2181
#连接到Zookeeper的超时时间
zookeeper.connection.timeout.ms=6000

Kafka命令发送测试

创建 topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
replication-factor 
#表示该 topic 需要在不同的 broker 中保存几份，这里设置成 1，表示在两个 broker 中保存两份；
# Partitions 表示分区数；

错误1：
2.2以上新版本不再需要 ZooKeeper 连接字符串，使用 Kafka Broker的 --bootstrap-server localhost:9092来替换 --zookeeper localhost:2181

错误2.
创建参数bootstrap-server localhost:9092会报错连接不上kafka。Localhost参数要使用Service.properties中配置的监听地址。
综上，创建命令修改为：

./kafka-topics.sh --bootstrap-server 192.168.242.133:9092 --create --topic test --partitions 1 --replication-factor 1

#查看 topic 
[root@localhost bin]# ./kafka-topics.sh --list --zookeeper localhost:2181（2.2以下）
[root@localhost bin]# ./kafka-topics.sh --bootstrap-server 192.168.242.133:9092 --list（2.2以上本篇版本3.5）
test
[root@localhost bin]# 
#查看 topic 属性 
[root@localhost bin]#./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test（2.2以下）
[root@localhost bin]# ./kafka-topics.sh --bootstrap-server 192.168.242.133:9092  --describe --topic test（2.2以上）
Topic: test	TopicId: 3SU0KurjT2uMVkKV_tcQOQ	PartitionCount: 1	ReplicationFactor: 1	Configs: 
	Topic: test	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
[root@localhost bin]# 
#发送消息 
[root@localhost bin]# ./kafka-console-producer.sh --bootstrap-server 192.168.242.133:9092  --broker-list 192.168.242.133:9092 --topic test
>>heollo kafka test topic
>
#消费消息 
[root@localhost bin]# ./kafka-console-consumer.sh -bootstrap-server 192.168.242.133:9092 --topic test --from-beginning
heollo kafka test topic