Storm与Kafka——Kafka的安装与使用

Kafka的安装步骤

1. 官网下载Kafka
下载地址：http://kafka.apache.org/downloads.html
2. 将Kafka上传到/home/tools目录，解压到/home/softwares目录

[root@storm01 ~]# cd /home/tools/
[root@storm01 tools]# rz
[root@storm01 tools]# tar -zxf kafka_2.11-0.10.0.1.tgz -C ../softwares/

3. 进入到解压后的目录，修改配置文件server.properties

[root@storm01 softwares]# cd kafka_2.11-0.10.0.1/config/
[root@storm01 config]# vim server.properties 

修改内容：
broker.id=0
listeners=PLAINTEXT://storm01:9092
log.dirs=/home/softwares/kafka_2.11-0.10.0.1/kafka-logs
zookeeper.connect=storm01:2181,storm02:2181,storm03:2181
配置1：

配置2：

在进行第3个配置之前，我们可克隆一个窗口，进入Kafka安装目录，创建日志文件夹，复制logs路径
配置3：
配置4：

4. 启动Kafka
在启动Kafka之前，将3个节点的zookeeper集群启动。

[root@storm01 config]# cd ~
[root@storm01 ~]# zkServer.sh start

storm01节点上进入Kafka安装目录，启动Kafka，jps查看进程是否启动

[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-server-start.sh -daemon config/server.properties 

Kafka操作命令

1. 创建Topic主题命令

[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-topics.sh --create --zookeeper storm01:2181 --partition 1 --replication-factor 1 --topic test

2. 查看Topic列表

[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-topics.sh --zookeeper storm01:2181 --list

3. Kafka启动控制台生产者

[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-console-producer.sh --broker-list storm01:9092 --topic test

4. Kafka启动控制台消费者

[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-console-consumer.sh --zookeeper storm01:2181 --topic test --from-beginning