Kafka快速入门解析

参考官网：http://kafka.apache.org/quickstart
一、下载Kafka
官网下载地址 http://kafka.apache.org/downloads
截至2019年7月8日 最新版本为 2.3.0 2.12为编译的scala版本 2.3.0为kafka版本
Scala 2.12 - kafka_2.12-2.3.0.tgz (asc, sha512)
解压

tar -xzf kafka_2.12-2.3.0.tgz
cd kafka_2.12-2.3.0
二、启动服务
要先启动zookeeper kafka内置了一个 也可以不用
bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...

bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
三、创建topic
replication-factor为1 partitions为1
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
查看topic
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
test
也可以不创建topic 设置自动创建 当publish的时候
四、发送消息
用command line client 进行测试 一行就是一条消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
五、消费者
command line consumer 可以接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning<