如何在E-MapReduce上提交Storm作业处理Kafka数据

点击有惊喜

0. 序言

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群，并运行Storm作业消费Kafka数据。

1. 准备环境

这里我选择在杭州Region进行测试，版本选择EMR-3.8.0，本次测试需要的组件版本有：

• Kafka：2.11_1.0.0
• Storm: 1.0.1

E-MapReduce的集群管理界面地址：https://emr.console.aliyun.com/console#/cn-hangzhou/

1.1 创建Hadoop集群

由于Zookeeper和Storm组件默认不是必选的，所以在创建集群时需要记得勾选上，如下：

详细创建集群步骤，请参考E-MapReduce-用户指南-集群一节。

1.2 创建Kafka集群

接着创建Kafka集群，集群类型选择Kafka，如下：

注意：

• 如果使用经典网络，请注意将Hadoop集群和Kafka集群放置在同一个安全组下面，这样可以省去配置安全组，避免网络不通的问题。
• 如果使用VPC网络，请注意将Hadoop集群和Kafka集群放置在同一个VPC/VSwitch以及安全组下面，这样同样省去配置网路和安全组，避免网络不通。
• 如果你熟悉ECS的网络和安全组，可以按需配置。

点击有惊喜