kafka单节点单broker的安装部署及使用

kafka单节点单broker的安装部署及使用

kafka是Apache的顶级项目，可以在官网
http://kafka.apache.org/downloads
根据自己的scala版本下载自己需要的压缩包

解压：
[root@hadoop001 downloads]# tar -zxvf kafka_2.13-2.4.0.tgz -C /usr/soft/

配置环境变量
vi ~/.bash_profile

export KAFKA_HOME=/usr/soft/kafka_2.13-2.4.0
export PATH=$KAFK{A}_{H}OME/bin:$PATH

然后，配置kafka的配置文件
[root@hadoop001 config]# vi server.properties
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/usr/soft/data/kafka-logs
num.partitions=1
zookeeper.connect=hodoop001:2181
注意：以上个参数配置分别是
breker.id 必须是唯一的整形数字
listeners 监听，采取默认配置即可
log.dirs 日志路径，配置成我们自己创建路径（默认路径会在每次系统重启之后清除）
num.partitions 因为是单节点部署，这里采用分区数量是1
zookeeper.connect 根据自己喜好配置hadoop001:2181（或默认localhost:2181）

启动kafka之前，首先要启动zookeeper,zookeeper启动过程请参考上篇文章
https://editor.csdn.net/md/?articleId=105565048
或者启动kafka自带的zookeeper，本文以启动kafka自带的zookeeper为例
启动zookeeper
[root@hadoop001 bin]# ./zookeeper-server-start.sh …/config/zookeeper.properties

启动kafka
[root@hadoop001 bin]# ./kafka-server-start.sh …/config/server.properties

创建一个topic
[root@hadoop001 bin]# ./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic hello_test

查看所有创建的topic
./kafka-topics.sh --list --zookeeper hadoop001:2181

启动生产者，
[root@hadoop001 bin]# ./kafka-console-producer.sh --broker-list hadoop001:9092 --topic hello_topic

启动消费者
[root@hadoop001 bin]# ./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic hello_topic --from-beginning

在生产者客户端输入内容

可以在消费者客户端看到输出

至此，kafka单节点安装部署及使用完成。