strom环境搭建

最新推荐文章于 2021-04-24 11:14:10 发布

wind35

最新推荐文章于 2021-04-24 11:14:10 发布

阅读量121

点赞数

分类专栏： strom 文章标签： storm

本文链接：https://blog.csdn.net/wind35/article/details/84626999

版权

strom 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

storm的用途这里不做过多的讲解，网上资料一大把，这里只讲安装：strom的按装分为两部分，首先安装相关的依赖。
storm的安装主要以来的其他组件有：
1.java
2.zookeeper
3.ZeroMQ 2.1.7
4.JZMQ
5.python
6.unzip
可以确认的是1,2,3,4是必须的，unzip只是在解压的jzmq的之后用了在storm实际的运行中有没有用到目前还不确定，Python在目前整个安装过程中确实是没有用到的。我的安装顺序是1-2-6-3-4-5.因为要解压jzmq所以现装了unzip
安装java：
1.java安装比较简单：tar -xvf [java包]
2.在/etc/profile加入classpath
安装zookeeper：
1.在一台机器上解压后进行如下配置：
在zookeeper-xx/conf/zoo.cfg中进行如下配置：


    tickTime=2000
    dataDir=/var/zookeeper/
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=ip1:2888:3888
    server.2=ip2:2888:3888
    server.3=ip3:2888:3888

2.使用scp命令分发到其它两台机子上
3.在每台机子的/var/zookeeper/下创建myid文件，内容为serve编号。例如server.1的myid文件内容是：1。
安装ZeroMQ 2.1.7:


    tar -xzf zeromq-2.1.7.tar.gz
    cd zeromq-2.1.7
    ./configure
    make
    sudo make install

在安装过程中可能会error uuid库找不到。
解决：redhat下：yum install libuuid-devel。
centos5.9下：yum install uuid*
yum install e2fsprogs*
yum install libuuid*
安装JZMQ:
1.保证ZeroMQ成功
2. unzip jzmq.zip

 
    cd jzmq
    ./autogen.sh
    ./configure
    make
    sudo make install

安装storm：
1.unzip storm-0.8.1.zip
2.修改storm.yaml配置文件(storm-x.x.x/conf)
A.storm.zookeeper.servers:
- ip1;
- ip2;
- ip3;
如果Zookeeper集群使用的不是默认端口，那么还需要storm.zookeeper.port选项
B.storm.local.dir:/data/storm/workdir
C.java.library.path: Storm使用的本地库（ZMQ和JZMQ）加载路径，默认为"/usr/local/lib:/opt/local/lib:/usr/lib"，一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下，因此不需要配置即可。
D.nimbus.host: ip1(ip1为nimbus节点)
E.supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
同样是在一台机子上配置好，用scp分发到其他2台机子上
启动storm:

Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序，并放到后台执行；
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序，并放到后台执行；
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序，并放到后台执行，
启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

PS：Nimbus和UI应该在同一台机子上

参考：[url]http://xumingming.sinaapp.com/179/twitter-storm-%E6%90%AD%E5%BB%BAstorm%E9%9B%86%E7%BE%A4/[/url]
[url]http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html[/url]
[url]http://blog.sina.com.cn/s/blog_8ae7b3fe010124mr.html[/url]