Storm集群搭建

历史文章搬运

使用版本apache-storm-1.0.3 .tar.gz。服务器三台，storm01作为nimbus主节点和UI节点，storm02、storm03作为supervisor节点。

0、准备
安装JDK。Linux下Java JDK安装_hongbo1515的博客-CSDN博客

在/etc/hosts中，配置各服务器主机名

192.168.1.1  storm01
192.168.1.2  storm02
192.168.1.3  storm03

1、下载storm。上传到服务器storm01。
可从官网下载Apache Storm downloads

我的压缩包上传到/home目录下，可根据实际情况选择

2、解压
tar -xzvf apache-storm-1.0.3.tar.gz

3、更改配置文件
vim apache-storm-1.0.3/conf/storm.yaml

#使用的zookeeper地址
storm.zookeeper.servers:
     - "node01"
     - "node02"
     - "node03"
#本地storm文件存放地址
storm.local.dir: "/home/apache-storm-1.0.3/data"
#zookeeper上storm路径
storm.zookeeper.root: "/storm"
#nimbus地址
nimbus.host: "storm01"
#设置端口
supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703
     - 6704
     - 6705
#storm ui端口
ui.port: 8080
#可设置worker内存信息
worker.childopts: "-Xms2048M"

4、配置其余节点
拷贝apache-storm-1.0.3到其余storm节点。

scp -r apache-storm-1.0.3 storm02:/home/

scp -r apache-storm-1.0.3 storm03:/home/

5、配置各服务器环境变量
sudo vim /etc/profile

export STROM_HOME=/home/apache-storm-1.0.3

export PATH=$PATH:$STROM_HOME/bin

执行source /etc/profile，使刚刚配置生效。

至此，storm已部署完毕。

6、启动
在主节点，此处是storm01,启动nimbus，ui

nohup storm nimbus  &

nohup storm ui &

在strom02、storm03 启动supervisor、logviewer

nohup storm supervisor&

nohup storm logviewer&

7、打开storm ui，查看启动结果
 http://storm01:8080/index.html

 

8、扩展，nimbus,ui高可用
配置更改
#nimbus.host: "storm01"  注掉，添加下面一条配置

nimbus.seeds: ["storm01", "storm02"]

在storm01，storm02,启动nimbus，ui

nohup storm nimbus  &

nohup storm ui &

那么nimbus与ui都有两个节点。