【配置】Storm和Kafka的对接:KafkaSpout

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ZoeYen_/article/details/78897654

前言

Strom从Kafka中读取数据,本质是实现一个Storm中的Spout,来读取Kafka中的数据;这个Spout,可以称为Kafka Spout。支持两种类型的Spout:

  1. Core storm spout;

  2. Trident spout;

部署

1.安装

下载kafka_2.11-0.8.2.2.tgz,上传至集群三个节点:node1,node2,node3(nimbus)的home/hadoop/app/目录下,解压,重命名为kafka。

下载地址官网 http://kafka.apache.org/downloads

2.修改配置文件

进入kafka配置目录下,修改配置文件zookeeper.properties、consumer.properties、producer.properties、server.properties

这里写图片描述

a.修改zookeeper.properties

这里写图片描述

b. 修改consumer.properties

这里写图片描述

c. 修改producer.properties

这里写图片描述

d. 修改server.properties

这里写图片描述

e. 分别修改node1、node2、node3上的server.properties(broker.id)为1,2,3。

这里写图片描述

3.启动kafka集群

在三台机器上执行以下命令

bin/kafka-server-start.sh config/server.properties &

这里写图片描述

4.测试集群

a. 在node1上创建一个生产者(topic会自动生成)

[hadoop@node2 kafka]$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

b. 在node3上创建一个消费者(topic和生产者的相同)

c. 在生产者上面输入Hello,World

d. 可以看到消费者上面会输出Hello,World

这里写图片描述

说明Kafka集群搭建成功,后面就可以正常使用Kafka。

展开阅读全文

没有更多推荐了,返回首页