本文记录了在Hadoop集群上安装部署Storm on YARN的过程，包括遇到的问题及解决方案。首先，安装了storm的依赖zeromq和jzmq，然后将storm-on-yarn源码编译并配置。在部署过程中，遇到了 Storm home entry 错误、应用无法从accept转到running状态以及JDK版本不兼容的问题。通过调整storm.yaml配置和使用JDK1.7以上版本，成功让storm在YARN上运行。然而，提交storm任务时遇到连接拒绝错误，storm-ui也无法正常打开，这需要进一步排查。作者总结了storm在YARN上的运行机制，并计划研究JStorm on YARN的实现。
在单机上安装了storm并成功运行wordcount后，进入本周工作的下一步：熟悉storm on yarn. 熟悉的第一步还是安装和部署。
已有的环境：三台服务器，hadoop01/hadoop02/hadoop03，已经安装好了hadoop 2.2.0版本，有yarn环境和hdfs环境。
需要的软件与配置：
1） 安装storm的依赖包zeromq与jzmq，详细参见 http://blog.csdn.net/flyhighzy/article/details/37672119
2）storm-on-yarn源码包以及maven(用于编译storm-on-yarn)
3) storm的工作环境
具体细节可参考 http://www.tuicool.com/articles/BFr2Yv
其中遇到的问题：
1）在提交storm到yarn上运行时，出现错误“Can not find storm home entry", 经过查找，原因是storm文件夹的命名
最低0.47元/天 解锁文章
扫一扫
595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
