Storm集群部署文档
1. 安装环境:centos,jdk8,安装好的zk环境,三台相同的机器作为节点
例:192.168.0.1
192.168.0.2
192.168.0.3
2. 安装包下载:http://storm.apache.org/downloads.html(选择下方的1.1.1版本)
3. 解压:将安装包解压到三台机器的/export/servers/ 目录下
tar –zxvf apache-storm-1.1.1.tar.gz
4. 配置host:
l 修改三台机器的host文件 vi /etc/hosts
l 将集群中的所有节点ip配置到hosts中,每台机器的hostname名称需要通过命令查询出来,再填写到hosts文件中,查询命令为:hostname
格式为:
192.168.0.1 节点1的hostname名称
192.168.0.2 节点2的hostname名称
192.168.0.3 节点3的hostname名称
l 保存退出 !wq
5. 修改配置文件:
l 进入节点1(192.168.0.1),修改storm.yaml:进入 conf 目录,vistorm.yaml
分别配置zk节点,zk端口,存储路径(可自定义),插槽数量及端口,nimbus节点
其中 supervisor.slots.ports为插槽数,此处建议设定为6个,即指定六个端口
指定ui的端口,配置为ui.port: 8081 (注意行首加空格)
最后,在文件结尾加上配置项 (建议配置,可选择性采纳):
worker.childopts: "-Xmx2048m"
nimbus.childopts: "-Xmx1536m"
supervisor.childopts: "-Xmx1024m"
topology.transfer.buffer.size: 4096
topology.executor.receive.buffer.size: 4096
topology.executor.send.buffer.size: 4096
nimbus.thrift.max_buffer_size: 10485760
storm.zookeeper.session.timeout: 30000
l 复制storm包到另外两个节点
1) 进入 /export/servers 目录
2) 利用scp命令发送storm包
scp -r apache-storm-1.1.1192.168.0.2:/export/servers/
scp -r apache-storm-1.1.1 192.168.0.3:/export/servers/
6. 启动storm
Storm集群中包含了两类节点,nimbus和supervisor
l 进入bin目录,首先启动三台机器的nimbus节点
nohup ./storm nimbus &
l 然后启动三台机器的supervisor工作节点
nohup ./storm supervisor &
l 启动三台机器的logviewer日志项
nohup ./storm logviewer &
l 最后单独启动主控节点1的UI
nohup ./storm ui &
l 浏览器输入:192.168.0.1:8081检验启动是否成功
附1:storm常用操作命令
l 提交topology,首先进入bin目录
命令格式:storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】【stormIP地址】【storm端口】【参数】
例:stormjar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;
l 停止topology,首先进入bin目录
命令格式:storm kill 【拓扑名称】
样例:stormkill wordcountTop
l 打印Storm中的Topology 以及状态,首先进入bin目录
命令格式:stormlist