Storm on yarn安装

参考：

[1] http://hi.baidu.com/clockfly/item/f977cad1239bd94fddf9beea

[2] http://blog.csdn.net/jiushuai/article/details/18729367

1.     已有的环境

 

Java代码  

1. a.     安装有HDFS文件系统  
2. b.     安装有YARN，且YARN服务已经开启  
3. c.      JAVA_HOME  

 注：本次安装实验是基于hadoop2.2.0的，jdk1.7，因此a,b,c全部满足。

 

2.     Storm on Yarn的安装准备

 

Java代码  

1. a.     从GitHub上下载Storm on Yarn  
2. wget https://github.com/yahoo/storm-yarn/archive/master.zip  
3. b.      Unzip master  
4. unzip master  
5. c.      Edit pom.xml，修改Hadoop的版本号，改成对应的版本号  

 

 

3.     Maven安装（使用Maven来build工程）

 

Java代码  

1. wget http://mirror.symnds.com/software/Apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz  
2. tar –zxvf apache-maven-3.1.1-bin.tar.gz  

 4.     配置Storm的工作环境

  

Java代码  

1. a.     解压缩storm.zip  
2. unzip storm.zip  
3. b.     添加storm-0.9.0-wip21和storm-yarn-master的bin到Path环境变量  
4. export PATH=${PATH}:${STORM_HOME}/storm-0.9.0-wip21/bin  
5. export PATH=${PATH}:${STORM_HOME}/storm-yarn-master/bin  
6. c.      添加Storm工程需要的额外Jar包到storm-0.9.0-wip21的lib下，重新压缩成storm.zip文件，上传至HDFS的指定目录中（非常重要，集群中通过访问hdfs中的storm.zip获取工作环境）  
7. zip –r storm.zip storm-0.9.0-wip21  
8. hadoop fs –put storm.zip /lib/storm/0.9.0-wip21/  

 5.     安装并运行Storm

  

Java代码  

1. a.     使用maven来build工程  
2. cd storm-yarn-master  
3. mvn package  
4. b.     修改storm.yaml文件  
5. vi storm-0.9.0-wip21/conf/storm.yaml  
6. 注：只修改了zookeeper的servers信息，其余没有改动。  

Java代码  

1. c.      提交运行storm on yarn，并得到一个ApplicationId  
2. storm-yarn launch storm.yaml  
3. 注：因为storm是作为一个yarn程序运行在集群上的，所以会有一个AppId，如下图所示  

Java代码  

1. <span style="font-size: 1em; line-height: 1.5;">d.     存储storm.yaml文件到.storm，这样使用storm命令提交jobs时，会找到该文件</span>  

Java代码  

1. storm-yarn getStormConfig -appId application_1381089732797_0025  -output ~/.storm/storm.yaml  
2. e.     通过以下命令得到Nimbus host  
3. cat ~/.storm/storm.yaml | grep nimbus.host  

 6.     测试Storm

 

Java代码  

1. a.     提交Topology  
2. storm jar lib/storm-starter-0.0.1-SNAPSHOT.jar storm.starter.WordCountTopology WordCountTopology -c nimbus.host=<your nimbus host>  
3. b.     监控Topology  
4. 查看Storm ui，地址是：http://<your nimbus host>:7070  
5. c.      关闭Topology  
6. storm kill [Topology_name]  
7. d.     关闭Storm on yarn集群  
8. storm-yarn shutdown –appId [applicationId]