kafka下载安装
-
下载的安装包放到服务器上,用tar命令解压
tar -zxvf xxxx -C xxxx
- bin目录下是各种shell脚本,包括启动和停止等等
- config目录下的是各种设置,包括很多properties文件
- 修改config目录下的server.properties文件,其中的broker.id=0是kafka的唯一标识,多个服务器不能重复
- 修改log.dirs,日志目录
- 修改Zookeeper下的ip
- 然后修改config目录下的zookeeper.properties,在末尾添加server.1=ip:2888:3888…(其他zookeeper的ip和端口)(其中2888为集群内机器通讯使用,3888为选举leader使用),修改dataDir,并在dataDir指定的目录下新建一个文件叫myid,内容为server.1的1这个数字。
- 在zookeeper.properties里添加tickTime=2000(毫秒为单位),基本事件单元,以毫秒为单位。Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每隔 tickTime时间就会发送一个心跳。
- 添加initLimit=10:这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。
- 添加syncLimit=10:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒
- 首先启动zookeeper,然后启动kafka
- 启动命令
bin/kafka-server-start.sh -daemon config/server.properties
- jps查看自己的启动情况
tickTime: 基本事件单元,以毫秒为单位。
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每隔 tickTime时间就会发送一个心跳。
dataDir: 存储内存中数据库快照的位置,即 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort: 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
initLimit: 这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,
当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,
那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。
syncLimit: 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,
最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒
server.num = ipAddress:port1:port2
num 服务器标识,表示这个是第几号服务器,
ipAddress 是这个服务器的 ip 地址;
port1 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;
port2 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader
maxClientCnxns : 客户端连接的最大数目,如果需要处理更多客户,请增加此值;默认 60
autopurge.snapRetainCount : 要在datadir中保留的快照数
autopurge.purgeInterval : 清除任务间隔(小时),设置为“0”以禁用自动清除功能
zookeeper免密群起脚本
#!/bin/bash
case $1 in
"start")
for i in hadoop101 hadoop102 hadoop103
do
echo "--- 启动 $i zookeeper ---"
ssh $i "source /etc/profile;/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties"
done
;;
"stop")
for i in hadoop101 hadoop102 hadoop103
do
echo "--- 停止 $i zookeeper ---"
ssh $i "/opt/kafka/bin/zookeeper-server-stop.sh"
done
;;
esac
kafka免密群起脚本
#!/bin/bash
case $1 in
"start")
for i in hadoop101 hadoop102 hadoop103
do
echo "--- 启动 $i kafka ---"
ssh $i "source /etc/profile;/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
done
;;
"stop")
for i in hadoop101 hadoop102 hadoop103
do
echo "--- 停止 $i kafka ---"
ssh $i "/opt/kafka/bin/kafka-server-stop.sh"
done
;;
esac
kafka-topic.sh参数
新建一个topic
kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --create -partitions 1 --replication-factor 2
修改topic分区数量(只能增加,不能减少)
./kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --alter --partitions 3
查看first这个topic 的信息
./kafka-topics.sh --bootstrap-server hadoop101:9092 --topic first --describe
查看所有的topic
./kafka-topics.sh --bootstrap-server hadoop101:9092 --list
向topic发送数据
./kafka-console-producer.sh --bootstrap-server hadoop101:9092 --topic first
从topic接收数据
./kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first
从topic接收所有数据
./kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first --from-beginning
batch.size:只有数据积累到batch.size之后,sender才会发送数据。默认16k
linger.ms:如果数据迟迟未达batch.size,sender等待linger.ms设置的时间到了之后就会发送数据。单位ms,默认值为0ms,表示没有延迟
kafka集群应答信号
0:生产者发送过来的数据,不需要等待数据落盘应答。
1:生产者发送过来的数据,Leader收到数据后应答。
-1(all):生产者发送过来的数据,Leader和ISR队列里面的所有节点收齐数据后应答。-1和all等价。