Storm集群搭建

1、关闭防火墙，修改etc/hosts配置（3台机的IP可以互相通信）

2、下载并安装JDK

3、搭建Zookeeper集群(保证3台机器的Zookeeper都可用)

4、安装python(2.6.6版本以上)

5、下载并且解压Storm发布版本

6、修改storm.yaml配置文件

7、先启动ZK集群后再启动storm各个后台进程。

在上述的步骤中。第1步骤第2步骤可以自行配置，第3步可以在另一篇博客 http://blog.csdn.net/u010634288/article/details/54774017，有提到ZK集群的安装。这里不再赘述。

第4步如果是虚拟机中也有自带的Python.可以通过

python -V

查看版本，我这里是2.6.6

5、下载并且解压Storm发布版本

5.1进入目录

cd /usr/local/storm/

5.2解压

tar -zxvf apache-storm-0.9.2-incubating.tar.gz

5.3修改名称

mv apache-storm-0.9.2-incubating/ apache-storm-0.9.2

5.4 修改环境变量

vim /etc/profile

增加如下配置

export STORM_HOME=/usr/local/storm/apache-storm-0.9.2
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$PATH

在解压后的strom文件夹中，public是管控台的一些文件

但是还有2个文件夹，一个data，这个文件夹是我们需要建立的，是存放提交上来的任务，另一个是log，这我们不需要建立，在执行任务的时候自动会建立

6、修改storm.yaml配置文件

cd /usr/local/storm/apache-storm-0.9.2/conf/
vim storm.yaml

增加如下配置

storm.zookeeper.servers:
- "192.168.100.240"
- "192.168.100.241"
- "192.168.100.242"
nimbus.host: "192.168.100.240"
storm.local.dir: "/usr/local/apache-storm-0.9.2/data"
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

ui.port: 18080表示管控台的端口，默认是8080。使用这个配置可以指定

supervisor.slots.ports:：配置241和242的工作进程，也就是工作进程占用的端口

最后需要

source /etc/profile

7、先启动ZK集群后再启动storm各个后台进程。

ZK集群启动命令：

zkServer.sh start

启动后查看状态，我查看的这台机是slave节点

strom进程启动命令：

主机器(nimbus运行)

storm nimbus &

从机器(supervisor)

storm supervisor &

主机器(ui运行)

 storm ui &

主机器(logview运行) (查看工作日志)

storm logviewer & 

在浏览器中输入：主机器IP:端口*(http:192.168.100.240:18080)这样就看到storm集群配置了

需要cd到/usr/local/storm

在192.168.100.240这台主节点启动 nimbus守护进程

在192.168.100.241、192.168.100.242启动 supervisor

jps一下,查看进程。说明nimbus已经启动

也可以通过查看日志查看守护进程是否启动成功

cd /usr/local/storm/apache-storm-0.9.2/logs/

ll

管控台:在主节点执行

storm ui &

打开浏览器输入：http:192.168.100.240:18080，看到如下页面

自此，strom集群已经搭建完毕。