kafka入门

The_theme

已于 2022-10-16 11:30:33 修改

阅读量401

点赞数

文章标签： kafka java 分布式

于 2022-10-13 19:49:27 首次发布

本文链接：https://blog.csdn.net/weixin_51343683/article/details/126951053

版权

kafka下载安装

官网地址
下载的安装包放到服务器上，用tar命令解压

tar -zxvf xxxx -C xxxx

bin目录下是各种shell脚本，包括启动和停止等等
config目录下的是各种设置，包括很多properties文件
修改config目录下的server.properties文件，其中的broker.id=0是kafka的唯一标识，多个服务器不能重复
修改log.dirs，日志目录
修改Zookeeper下的ip
然后修改config目录下的zookeeper.properties，在末尾添加server.1=ip:2888:3888…（其他zookeeper的ip和端口）（其中2888为集群内机器通讯使用，3888为选举leader使用），修改dataDir，并在dataDir指定的目录下新建一个文件叫myid，内容为server.1的1这个数字。
在zookeeper.properties里添加tickTime=2000（毫秒为单位），基本事件单元，以毫秒为单位。Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每隔 tickTime时间就会发送一个心跳。
添加initLimit=10：这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数，当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。
添加syncLimit=10：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 5*2000=10 秒
首先启动zookeeper，然后启动kafka
启动命令bin/kafka-server-start.sh -daemon config/server.properties
jps查看自己的启动情况

tickTime：  基本事件单元，以毫秒为单位。
            Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每隔 tickTime时间就会发送一个心跳。

dataDir：    存储内存中数据库快照的位置，即 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。

clientPort： 这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

initLimit：    这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数，
            当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，
            那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

syncLimit：    这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，
            最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 5*2000=10 秒

server.num = ipAddress:port1:port2
            num         服务器标识，表示这个是第几号服务器,
            ipAddress   是这个服务器的 ip 地址；
            port1       表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；
            port2       表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader

maxClientCnxns :    客户端连接的最大数目，如果需要处理更多客户，请增加此值；默认 60

autopurge.snapRetainCount :    要在datadir中保留的快照数

autopurge.purgeInterval :   清除任务间隔（小时）,设置为“0”以禁用自动清除功能

zookeeper免密群起脚本

#!/bin/bash

case $1 in
"start")
        for i in hadoop101 hadoop102 hadoop103
        do
                echo "--- 启动 $i zookeeper ---"
                ssh $i "source /etc/profile;/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties"
        done
;;
"stop")
        for i in hadoop101 hadoop102 hadoop103
        do
                echo "--- 停止 $i zookeeper ---"
                ssh $i "/opt/kafka/bin/zookeeper-server-stop.sh"
        done
;;
esac

kafka免密群起脚本

#!/bin/bash

case $1 in
"start")
        for i in hadoop101 hadoop102 hadoop103
        do
                echo "--- 启动 $i kafka ---"
                ssh $i "source /etc/profile;/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
        done
;;
"stop")
        for i in hadoop101 hadoop102 hadoop103
        do
                echo "--- 停止 $i kafka ---"
                ssh $i "/opt/kafka/bin/kafka-server-stop.sh"
        done
;;
esac

kafka-topic.sh参数
在这里插入图片描述
新建一个topic
kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --create -partitions 1 --replication-factor 2
修改topic分区数量(只能增加，不能减少)
./kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --alter --partitions 3
查看first这个topic 的信息
./kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --describe
查看所有的topic
./kafka-topics.sh --bootstrap-server hadoop101:9092 --list
向topic发送数据
./kafka-console-producer.sh --bootstrap-server hadoop101:9092 --topic first
从topic接收数据
./kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first
从topic接收所有数据
./kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first --from-beginning
在这里插入图片描述
batch.size：只有数据积累到batch.size之后，sender才会发送数据。默认16k
linger.ms：如果数据迟迟未达batch.size，sender等待linger.ms设置的时间到了之后就会发送数据。单位ms，默认值为0ms，表示没有延迟