Spark Streaming（四）kafka搭建（单节点，单broker）

下载Kafka

我使用的版本是kafka_2.11-2.0.1.tgz
解压：tar -xvf kafka_2.11-2.0.1.tgz -C ~/app/
添加至系统环境变量中：

配置Kafka

查看并修改config下面的server.properties：

# 相当于存放数据的容器
broker.id=0
log.dirs=/home/iie4bu/app/tmp/kafka-logs
zookeeper.connect=localhost:2181

启动kafka

一个server相当于一个broker

使用jps -m查看后台进程：

创建Topic(指定zookeeper)

创建Topic时需要指定zookeeper的地址
~/app/kafka_2.11-2.0.1/bin$ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看所有topic(指定zookeeper)

./kafka-topics.sh --list --zookeeper localhost:2181

查看所有topic详细信息(指定zookeeper)

kafka-topics.sh --describe --zookeeper localhost:2181

查看某个topic详细信息(指定zookeeper)

创建生产者(指定broker-list)

./kafka-console-producer.sh --broker-list localhost:9092 --topic test
因为要发送消息，所以需要与broker打交道，而不需要与zookeeper打交道，默认的broker监听的是9092端口

创建消费者(指定bootstrap-server)

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
如果带着参数--from-beginning则表示从头开始消费，如果不带则从当前开始消费