Kafka环境搭建--单节点单broker

一、Zookeeper搭建

1、官网下载
zookeeper-3.4.10.tar.gz
2、解压到特定目录下，进行环境变量配置，并使环境变量生效。
3、配置参数
修改conf/zoo.cfg中的存储数据位置(注意：不要放到tmp下)

cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/home/gxx/dataDir/zk_data

二、kafka搭建

1、官网下载
kafka_2.11-2.4.0.tgz
scala版本：2.11
Kafka版本：2.4.0
2、解压到特定目录下，进行环境变量配置后，使环境变量生效。

source .bashrc

3、配置参数
$KAFKA_HOME/config/server.properties(一个server相当于一个broker)文件中，修改以下参数：
broker.id:唯一
listeners：监听端口号，默认9092
host.name:当前机器
log.dirs:存储kafka日志文件
zookeeper.connect:默认2181

三、启动Kafka（可参考官方文档）

1、启动zookeeper

$ZK_HOME/bin/zookeeper-server-start.sh $ZK_HOME/conf/zoo.cfg

2、启动kafka命令

$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

-daemon:进程在后台启动，不输出到控制台
3、创建topic:hello_topic

$KAFKA_HOME/bin/kafka-topics.sh --create --bootstrap-server CAD01-ubuntu:9092 --replication-factor 1 --partitions 1 --topic hello_topic

查看所有topic：

$KAFKA_HOME/bin/kafka-topics.sh --list --bootstrap-server CAD01-ubuntu:9092

4、生产者生产数据

$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list CAD01-ubuntu:9092 --topic hello_topic

5、消费者消费数据

$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server CAD01-ubuntu:9092 --topic hello_topic --from-beginning

–from-beginning：
带该参数，每次都是从头开始消费；
不带该参数，只会收到该消费者启动后传输的数据
6、其他常用命令
查看所有topic的详细信息

kafka-topics.sh --describe --zookeeper CAD01-ubuntu:2181

查看指定topic的详细信息

kafka-topics.sh --describe --zookeeper CAD01-ubuntu:2181 --topic hello_topic