Storm入门
1、 Storm集群的搭建
环境:JDK1.7 CentOS7 Storm0.10.0 zookeeper3.4.6
a、下载apache-storm-0.9.6.tar.gz,并上传到CentOS
b、解压文件,修改conf文件夹下的storm.yaml文件
添加zookeeper的节点,添加nimbus节点。
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "hadoop05"
- "hadoop06"
nimbus.host: "hadoop05"
c、分别启动nimbus/supervisor节点的zookeeper,且保证是同步的。
d、进入nimbus节点的bin目录,输入命令:
storm nimbus
当进程启动时,该终端会被一直占用,如果中间发现该终端可使用则该进程也是死掉了。
进入supervisor节点的终端进入bin目录输入命令:
storm supervisor
该终端也会被占用,所以再打开一个终端,输入命令
jps
查看启动的进程 ,在nimbus节点 、supervisor节点可以分别查看到的进程是:
2295 core
2231 nimbus
2859 Jps
2182 QuorumPeerMain
2810 Jps
2161 QuorumPeerMain
2214 supervisor
曾尝试使用单节点,但是不成功,总是会出现nimbus、supervisor进程只有一个被启动,轮番的死掉。所以就用了两个节点,最佳应当使用三个节点。
2、创建maven工程
这里主要是说一下pom.xml文件的配置。没有在网上找到关于storm maven 的pom.xml文件的配置,查询相关的maven仓库,在http://mvnrepository.com/artifact/org.apache.storm找到相关的版本,并有引用的说明.下面是部分的pom.xml文件的代码
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>0.10.0</version>
</dependency>
</dependencies>
</project>
添加好依赖后,就可以进行storm的开发了。