storm集群部署

1、安装部署zookeeper集群：

详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189

假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。

2、安装storm：

0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ，0.9之后的版本不需要安装。我们安装的是0.9.6版本。

1）服务器准备：

A.centos1：storm的nimbus节点（相当于hadoop的jobtractor）

B.centos2：storm的supervisor节点

 将集群中机器的防火墙关掉；修改/etc/hosts文件，设置IP和主机名的映射关系。并且安装好jdk1.7，和python2.7，以及环境变量。

2）下载storm：(步骤2-4是在centos1服务器上进行的操作)

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz

解压：tar -xvzf apache-storm-0.9.6.tar.gz -C /usr/local

软连接：cd /usr/local   ln -s apache-storm-0.9.6/ storm

3）环境变量：

vim /etc/profile

export STORM_HOME=/usr/local/apache-storm-0.9.6/
export PATH=$PATH:$HBASE_HOME/bin:$STORM_HOME/bin

source /etc/profile

4）配置storm：

首先，启动zk；

vim STORM_HOME/conf/storm.yaml

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "centos1"
     - "centos2"
     - "centos3"
 
 nimbus.host: "centos1"
 storm.local.dir: "/data/storm/data"
 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

注： 开头的空格以及冒号之后也有空 格

创建目录：mkdir -p /data/storm/data

5）将storm目录拷贝到其他集群：

scp -rp /usr/local/storm/ root@centos2:/usr/local/

然后登录到centos2，加软连接、配置环境变量

3、启动storm集群：

在centos1上运行（nimbus）：storm nimbus &

在centos2上运行（supervisor）storm supervisor &

在centos1上运行（nimbus）：storm ui & 

在centos1上运行（nimbus）：storm logviewer &

1）执行jps确认是storm集群启动成功，看是否存在nimbus进程和supervisor进程，以及是否有core进程(对应ui启动成功)，是否有logviewer进程。

2）在浏览器中输入运行了nimbus进程的机器ip地址，端口号为8080，可以看到storm集群信息。