kafka--单机版安装配置,命令行操作

安装包

KAFKA官网:https://kafka.apache.org/downloads

上传压缩包

将压缩包上传到/opt/install

解压改名

[root@xwt148 install]# tar -zxf ./kafka_2.12-2.8.0.tgz -C ../soft/
[root@xwt148 soft]# mv kafka_2.12-2.8.0/ ./kafka212

配置

[root@xwt148 config]# vim ./server.properties

//修改内容
21 broker.id=0 //配置集群使用,单机版不用修改
36 advertised.listeners=PLAINTEXT://192.168.153.148:9092
60 log.dirs=/opt/soft/kafka212/data //消息存放的目录
103 log.retention.hours=1680 消息存放的时间(小时)
123 zookeeper.connect=192.168.153.148:2181 //zookeeper位置
137 delete.topic.enable=true //设置可以对topic删除,默认不能删除

[root@xwt148 ~]# cd /opt/soft/kafka212/
[root@xwt148 kafka212]# mkdir ./data
[root@xwt148 kafka212]# echo "0">/opt/soft/kafka212/data/myid

[root@xwt148 kafka212]# vim /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/soft/kafka212
export PATH=$PATH:$KAFKA_HOME/bin

[root@xwt148 kafka212]# source /etc/profile

KAFKA启动

启动zk

zkServer.sh start

启动KAFKA（非静默启动）

kafka-server-start.sh /opt/soft/kafka212/config/server.properties

jps查看

启动kafka（静默启动）

kafka-server-start.sh -daemon /opt/soft/kafka212/config/server.properties

静默启动

nohup kafka-server-start.sh /opt/soft//kafka212/config/server.properties &

KAFKA命令行操作

查看消息队列

[root@xwt148 data]# kafka-topics.sh --zookeeper 192.168.153.148:2181 --list

创建消息队列(topic)

[root@xwt148 data]# kafka-topics.sh --create --zookeeper 192.168.153.148:2181 --topic bigdata --partitions 1 --replication-factor 1

再次查看消息队列,出现了刚创建的消息队列

查看队列详情

[root@xwt148 data]# kafka-topics.sh --describe --zookeeper 192.168.153.148:2181 --topic bigdata

Isr指的是

生产消息与消费消息

//生产
[root@xwt148 data]# kafka-console-producer.sh --topic study --broker-list 192.168.153.148:9092
//xshell再开一个窗口
//消费
[root@xwt148 data]# kafka-console-consumer.sh --bootstrap-server 192.168.153.148:9092 --topic study

//窗口1

//窗口2

查看队列中的消息数量

[root@xwt148 data]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.148:9092 --topic study

从头开始取消息

[root@xwt148 data]# kafka-console-consumer.sh --bootstrap-server 192.168.153.148:9092 --topic study --from -beginning

默认新开启的消费者不会接收生产者以前的消息,加上–from -beginning可以从头开始接受所有的消息