Storm实时流处理原理与实践之二：Storm分布式集群部署启动及Web界面查看

整体介绍

前一篇介绍了Storm的基本概念和系统架构，本文将搭建Storm集群环境，并运行Storm自带的示例程序。

环境准备

三台Linux机器、JDK1.8以上、Zookeeper集群环境、Storm1.0.6
从官网下载apache-storm-1.0.6.tar.gz
http://storm.apache.org/downloads.html
https://archive.apache.org/dist/storm/

安装配置

先在bigdata01机器按照以下步骤配置，再同步到bigdata02、bigdata03机器。

解压安装包

cd /opt/
tar zxf XXXXX/apache-storm-1.0.6.tar.gz
#XXXXX 为下载的文件完整路径

配置文件

storm.yaml

cd /opt/apache-storm-1.0.6/conf
vi storm.yaml

配置如下，提前建立job文件夹

 storm.zookeeper.servers:
     - "bigdata01"
     - "bigdata02"
     - "bigdata03"

 nimbus.seeds: ["bigdata01"]
 storm.local.dir: "/opt/apache-storm-1.0.6/job"
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
 ui.port: 8081

修改后保存。

配置环境变量

vi /etc/profile

末尾追加：

export STORM_HOME=/opt/apache-storm-1.0.6
export PATH=$PATH:$STORM_HOME/bin

保存后使环境变量生效

source /etc/profile

同步到其他机器

同步storm安装包

scp -r /opt/apache-storm-1.0.6/ bigdata02:/opt/apache-storm-1.0.6/
scp -r /opt/apache-storm-1.0.6/ bigdata03:/opt/apache-storm-1.0.6/

同步/etc/profile文件，同步后去机器上用source命令使配置生效。

scp -r /etc/profile bigdata02:/etc/profile
scp -r /etc/profile bigdata03:/etc/profile

启动集群

启动Zookeeper

先启动Zookeeper集群，三台机器上都执行

cd /opt/zookeeper-3.4.12/bin
./zkServer.sh start

启动Nimbus

在bigdata01机器启动Nimbus

nohup storm nimbus &

启动Supervisor

在worker节点(bigdata02、bigdata03机器）上启动Supervisor

nohup storm supervisor &

启动UI

在bigdata01机器启动UI

nohup storm ui &

Web界面查看

http://bigdata01:8081/index.html