Storm 0.9 集群搭建

最新推荐文章于 2021-05-14 02:22:48 发布

weixin_33911824

最新推荐文章于 2021-05-14 02:22:48 发布

阅读量93

点赞数

文章标签：大数据 python ui

原文链接：https://my.oschina.net/robinyao/blog/415757

版权

2019独角兽企业重金招聘Python工程师标准>>>

搭建Storm 0.9 集群的主要步骤有以下几步：

1 搭建Zookeeper集群

2 在 Nimbus和 worker上安装相应的依赖

3 下载Storm 到 Nimbus 和worker机器上

4 在storm.yaml填写必须的配置

5 用storm脚本启动storm集群

1搭建zookeeper集群

Storm主要用Zookeeper来协调集群的。Zookeeper不是用来作为消息传递的，所以Storm对Zookeeper的负载是低的。单节点集群足以满足storm需求。如果需要zookeeper 的failover可以搭建多节点的zookeeper集群。具体搭建zookeeper 步骤，这里不详细写了。

2在机器上安装相应的JDK和python

JDK版本最低为 1.6

Python版本最低为2.6.6

3下载storm到相应的机器上

最新版本为0.94 下载解压提取到相应的Nimbus和worker机器上。

4在storm.yaml填写必须的配置项

1)storm.zookeeper.servers:

storm.zookeeper.servers:  
 - "111.222.333.444"  
 - "555.666.777.888"

如果zookeeper端口不是默认端口，必须填写端口配置

storm.zookeeper.port

2) storm.local.dir:主要是nimbus和Supervisor用来保存状态的地方，在每台机子上都有建立相应的目录，并且赋予相应的权限。

eg:

storm.local.dir: "/mnt/storm"

3) nimbus.host: worker节点需要知道哪个节点是master,以便用来下载topology的 jar和配置

nimbus.host: "111.222.333.44"

4) supervisor.slots.ports:对于每个worker节点需要配置多少个worker运行在该节点上。每个worker用单独的port接收消息，如果你配置五个端口，表明五个 worker运行在该机器上，如果3个表明3个worker运行在该机器上。默认是四个worker在一台机子上。

supervisor.slots.ports:     
    - 6700     
    - 6701     
    - 6702     
    - 6703

5用storm脚本启动相应的程序

1）Nimbus: 在master节点上 bin/storm nimbus 用来启动nimbus

2) Supervisor:在每台worker节点上 bin/storm supervisor 用来启动supervisor ,supervisor用来启动和关闭本机器上的worker

3) UI: 在master节点上 bin/storm ui ，主要用来在浏览器中查看storm集群的状态，http://{nimbus host}:8080

单机伪集群的全部配置如下

 storm.zookeeper.servers:
    - "127.0.0.1"
 storm.zookeeper.port: 2181 
 storm.local.dir: "/home/xxx/storm/workdir"
 nimbus.host: "127.0.0.1"

 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

主要参照 https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 翻译

转载标注：http://my.oschina.net/robinyao/blog/415757

转载于:https://my.oschina.net/robinyao/blog/415757