kafka--安装配置
安装包
KAFKA官网:https://kafka.apache.org/downloads
上传压缩包
将压缩包上传到/opt/install
解压改名
[root@xwt148 install]# tar -zxf ./kafka_2.12-2.8.0.tgz -C ../soft/
[root@xwt148 soft]# mv kafka_2.12-2.8.0/ ./kafka212
配置
[root@xwt148 config]# vim ./server.properties
//修改内容
21 broker.id=0 //配置集群使用,单机版不用修改
36 advertised.listeners=PLAINTEXT://192.168.153.148:9092
60 log.dirs=/opt/soft/kafka212/data //消息存放的目录
103 log.retention.hours=1680 消息存放的时间(小时)
123 zookeeper.connect=192.168.153.148:2181 //zookeeper位置
137 delete.topic.enable=true //设置可以对topic删除,默认不能删除
[root@xwt148 ~]# cd /opt/soft/kafka212/
[root@xwt148 kafka212]# mkdir ./data
[root@xwt148 kafka212]# echo "0">/opt/soft/kafka212/data/myid
[root@xwt148 kafka212]# vim /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/soft/kafka212
export PATH= P A T H : PATH: PATH:KAFKA_HOME/bin
[root@xwt148 kafka212]# source /etc/profile
KAFKA启动
启动zk
zkServer.sh start
启动KAFKA(非静默启动)
kafka-server-start.sh /opt/soft/kafka212/config/server.properties
jps查看
启动kafka(静默启动)
kafka-server-start.sh -daemon /opt/soft/kafka212/config/server.properties
静默启动
nohup kafka-server-start.sh /opt/soft//kafka212/config/server.properties &
KAFKA命令行操作
查看消息队列
[root@xwt148 data]# kafka-topics.sh --zookeeper 192.168.153.148:2181 --list
创建消息队列(topic)
[root@xwt148 data]# kafka-topics.sh --create --zookeeper 192.168.153.148:2181 --topic bigdata --partitions 1 --replication-factor 1
再次查看消息队列,出现了刚创建的消息队列
查看队列详情
[root@xwt148 data]# kafka-topics.sh --describe --zookeeper 192.168.153.148:2181 --topic bigdata
Isr指的是
生产消息与消费消息
//生产
[root@xwt148 data]# kafka-console-producer.sh --topic study --broker-list 192.168.153.148:9092
//xshell再开一个窗口
//消费
[root@xwt148 data]# kafka-console-consumer.sh --bootstrap-server 192.168.153.148:9092 --topic study
//窗口1
//窗口2
查看队列中的消息数量
[root@xwt148 data]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.148:9092 --topic study
从头开始取消息
[root@xwt148 data]# kafka-console-consumer.sh --bootstrap-server 192.168.153.148:9092 --topic study --from -beginning
默认新开启的消费者不会接收生产者以前的消息,加上–from -beginning可以从头开始接受所有的消息