安装单机版的Kafka:
下载kafka_2.13-3.2.0.tgz,上传到hp2服务器。
Kafka运行,依赖于ZooKeeper,需要先搭建好Zookeeper,其中安装Zookeeper请参见本博客专门文章:
ZooKeeper3.4.6分布式环境搭建
部署单机版Kafka环境:
解压:
tar -xvf /apps/kafka_2.13-3.2.0.tgz -C /usr/local/
建立软连接:
ln -s kafka_2.13-3.2.0/ kafka3
配置环境变量:
在/etc/profile.d中新建kafka.sh
export HBASE_HOME=/usr/local/kafka3
export PATH=$PATH:$HBASE_HOME/bin
让环境变量生效
source kafka.sh
修改kafka/config/server.properties:
listeners=PLAINTEXT://hp2:9092
advertised.listeners=PLAINTEXT://hp2:9092
zookeeper.connect=hp1:2181,hp2:2181,hp3:2181
运行:
启动zookeeper
启动Kafka:
kafka-server-start.sh -daemon ../config/server.properties
创建Topic:
kafka-topics.sh --create --bootstrap-server hp2:9092 --replication-factor 1 --partitions 1 --topic hello
查看Topic列表:
kafka-topics.sh --bootstrap-server hp2:9092 --list
查看对应Topic描述:
kafka-topics.sh --describe --bootstrap-server hp2:9092 --topic hello
删除Topic:
kafka-topics.sh -delete --bootstrap-server hp2:9092 --topic hello
打开生产者客户端:
kafka-console-producer.sh --bootstrap-server hp2:9092 --topic hello
打开消费者客户端:
kafka-console-consumer.sh --bootstrap-server hp2:9092 --topic hello
在生产者客户端发送数据:
在消费者客户端接收到数据:
可以开启多个生产者客户端发送消息,开启多个消费者客户端接收消息,以观察这种订阅-发布模式实现的消息队列。
关闭Kafka:
kafka-server-stop.sh