Storm集群部署文档

Storm集群部署文档

1.      安装环境：centos，jdk8，安装好的zk环境，三台相同的机器作为节点

例：192.168.0.1

192.168.0.2

192.168.0.3

2.      安装包下载：http://storm.apache.org/downloads.html(选择下方的1.1.1版本)

3.      解压：将安装包解压到三台机器的/export/servers/ 目录下

tar –zxvf apache-storm-1.1.1.tar.gz

4.      配置host：

l  修改三台机器的host文件 vi /etc/hosts

l  将集群中的所有节点ip配置到hosts中，每台机器的hostname名称需要通过命令查询出来，再填写到hosts文件中，查询命令为：hostname

格式为：

192.168.0.1 节点1的hostname名称

192.168.0.2 节点2的hostname名称

192.168.0.3 节点3的hostname名称

l  保存退出 !wq

5.      修改配置文件：

l  进入节点1(192.168.0.1)，修改storm.yaml：进入 conf 目录，vistorm.yaml

分别配置zk节点，zk端口，存储路径(可自定义)，插槽数量及端口，nimbus节点

其中 supervisor.slots.ports为插槽数，此处建议设定为6个，即指定六个端口

指定ui的端口，配置为ui.port: 8081 (注意行首加空格)

最后，在文件结尾加上配置项 (建议配置，可选择性采纳)：

worker.childopts: "-Xmx2048m"

 nimbus.childopts: "-Xmx1536m"

 supervisor.childopts: "-Xmx1024m"

 topology.transfer.buffer.size: 4096

 topology.executor.receive.buffer.size: 4096

 topology.executor.send.buffer.size: 4096

 nimbus.thrift.max_buffer_size: 10485760

 storm.zookeeper.session.timeout: 30000

l  复制storm包到另外两个节点

1)      进入 /export/servers 目录

2)      利用scp命令发送storm包

scp -r apache-storm-1.1.1192.168.0.2:/export/servers/

scp -r apache-storm-1.1.1 192.168.0.3:/export/servers/

6.       启动storm

Storm集群中包含了两类节点，nimbus和supervisor

l  进入bin目录，首先启动三台机器的nimbus节点

nohup ./storm nimbus &

l  然后启动三台机器的supervisor工作节点

nohup ./storm supervisor &

l  启动三台机器的logviewer日志项

nohup ./storm logviewer &

l  最后单独启动主控节点1的UI

nohup ./storm ui &

l  浏览器输入：192.168.0.1:8081检验启动是否成功

 

附1：storm常用操作命令

l  提交topology，首先进入bin目录

命令格式：storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】【stormIP地址】【storm端口】【参数】

例：stormjar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;

l  停止topology，首先进入bin目录

命令格式：storm kill 【拓扑名称】

样例：stormkill wordcountTop

l  打印Storm中的Topology 以及状态，首先进入bin目录

命令格式：stormlist