storm完全分布式安装

Storm集群搭建详解

最新推荐文章于 2023-11-16 02:08:38 发布

转载最新推荐文章于 2023-11-16 02:08:38 发布 · 231 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yangjiming/p/9529485.html

文章标签：

#大数据 #ui

本文详细介绍了如何在slave1、slave2和slave3三个节点上搭建Apache Storm集群的过程，包括配置storm.yaml文件，设置Nimbus、Supervisor和Zookeeper，以及环境变量的配置。通过在slave1上启动Nimbus和UI，slave2和slave3上启动Supervisor，实现了Storm集群的完整部署。

节点 nimbus supervisor ZK
slave1 1 0 1
slave2 0 1 1
slave3 0 1 1
解压,创建目录/opt/storm/

修改conf/storm.yaml

storm.zookeeper.servers:
　　- "slave1"
　　- "slave2"
　　- "slave3"

storm.local.dir: "/root/storm"

nimbus.host: "slave1"

supervisor.slots.ports:
　　- 6700
　　- 6701
　　- 6702
　　- 6703

分发到其他节点
```
scp -r storm0.10.2 slave2:/opt/storm/
```

配置环境变量

export STORM_HOME=/opt/storm/storm0.10.1

启动ZooKeeper集群

每个节点运行zkServer.sh start

在安装目录下创建日志目录 mkdir logs
slave1上启动Nimbus，web监控模块
$ storm nimbus >> ./logs/nimbus.out 2>&1 &
$ tail -f logs/nimbus.out
$ storm ui >> ./logs/ui.out 2>&1 &
$ tail -f logs/ui.out

节点slave2和slave3启动supervisor，按照配置，每启动一个supervisor就有了4个slots
$ storm supervisor >> ./logs/supervisor.out 2>&1 &
$ tail -f logs/supervisor.out
（当然node1也可以启动supervisor）
http://slave1:8080/,可以看到storm集群的信息和拓扑信息