由上图可知:storm集群是和zookeeper集群共同运行,搭建storm集群时,请先搭建zookeeper集群
所以安装Storm集群之前请先参考博主安装的zookeeper集群搭建:https://blog.csdn.net/weixin_38201936/article/details/88821559
上述zookeeper集群搭建完成后,现在搭建storm集群: 首先 集群搭建全部是在hadoop用户下进行搭建的。
一、机器规划
主机名 | IP | Zookeeper | Nimbus | Supervisor |
mini1 | 192.168.63.181 | 是 | 是 | 否 |
mini2 | 192.168.63.182 | 是 | 否 | 是 |
mini3 | 192.168.63.183 | 是 | 否 | 是 |
二、下载安装包:百度云:https://pan.baidu.com/s/1-lWcEfQek2bV801xUFzsHw 提取码:ow0q
三、解压:tar -zxvf apache-storm-1.2.2.tar.gz //因为我是在hadoop下的根目录下进行解压的
重命名:mv apache-storm-1.2.2.tar.gz storm
在storm文件下创建一个data文件夹 用来存放 torm本地状态
修改配置文件:进入storm/conf/ 修改 storm.yaml
修改内容如下:
#指定zookeeper的主机名
storm.zookeeper.servers:
- "mini1"
- "mini2"
- "mini3"
#指定storm本地状态保存地址
storm.local.dir: "/home/hadoop/storm/data"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "mini1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
##指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
##指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
分发安装包:上述修改完之后 保存 然后将mini1上的storm 分发到其他主机上:
scp -r storm mini2:
scp -r storm mini3:
启动集群 :
在nimbus.host所属的机器上启动 nimbus服务
cd storm/bin/
nohup ./storm nimbus &
在nimbus.host所属的机器上启动ui服务
cd storm/bin/
nohup ./storm ui &
在其它个点击上启动supervisor服务
cd storm/bin/
nohup ./storm supervisor &
启动结果如下:
上述结果是在mini1上启动web界面和nimbus 在mini2和mini3上启动supervisor 然后在重开一个窗口查看是否启动成功:
登录页面进行查看: