kafka环境部署

下载kafka新版本(自带zookeeper)：http://kafka.apache.org/downloads

kafka安装：

tar -xzf kafka_2.13-2.8.0.tgz

进入解压好的目录，在bin目录下带有kafka与zookeeper启动的脚本文件

在bin目录下启动kafka
1.先启动zookeeper服务

./zookeeper-server-start.sh ../config/zookeeper.properties

2.启动kafka服务

./kafka-server-start.sh ../config/server.properties

topic操作：

1. 查看topic列表

./kafka-topics.sh --zookeeper localhost:2181 --list

2. 创建topic

./kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1  --replication-factor 1

partitions：指定创建test主题的分区数；
replication-factor：指定消息保存在几个服务器上，一般等于 broker的个数，如果未指定，会取server.properties配置文件中default.replication.factor的值

3. 查看topic分区信息

./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

4. 修改topic分区

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 10

5. 删除topic分区

./kafka-topics.sh --delete --zookeeper  localhost:2181 --topic test

6. topic消费数量

./kafka-run-class.sh kafka.tools.GetOffsetShell --topic test  --time -1 --broker-list localhost:9092

生产消息：

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息：

./kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning