storm 1.0.6安装集群

Storm集群安装，基于版本1.0.6，
使用apache-storm-1.0.6.tar.gz安装包。

1.安装规划

角色规划	IP/机器名	安装软件	运行进程
nimbus	Master	storm	core,nimbus
supervisor	Slave1	storm	supervisor,worker,LogWriter
supervisor	Slave2	storm	supervisor,worker,LogWriter

supervisor

SNN

storm

supervisor,worker,LogWriter

 

 

 

3.安装依赖

1.JDK
2.Zookeeper

4.主机名配置

vi /etc/hosts
192.168.234.100 Master
192.168.234.101 Slave1
192.168.234.102 Slave2
192.168.234.103 SNN

5.JDK安装

可以使用root用户安装的公共jdk，要求JDK 6+，
为Storm用户下配置jdk环境变量

export JAVA_HOME=/usr/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

7.Zookeeper安装

请参考Zookeeper集群安装Version3.5.1
这里使用的Zookeeper集群信息:
Master、Slave1、Slave2、SNN
服务端口为默认的2181。

8.Storm安装

请自行从官网获取安装包：
apache-storm-1.0.6.tar.gz
将安装包拷贝到Master的home下
解压安装包：
tar -zxvf apache-storm-1.0.6.tar.gz
配置环境变量：

export STORM_HOME=/home/apache-storm-1.0.6
export PATH=$PATH:$STORM_HOME/bin

创建本地数据存放的目录:
mkdir /home/storm/apache-storm-1.0.6/data

9.修改storm.yaml文件

vi conf/storm.yaml

storm.zookeeper.servers:
- "Master"
- "Slave1"
- "Slave2"
- "SNN"
storm.zookeeper.port: 2181
nimbus.seeds: ["Master", "Slave1", "Slave2","SNN"]
storm.local.dir: "/home/apache-storm-1.0.6/data"
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

10.拷贝Storm到集群其他机器

Master的apache-storm-1.0.1 复制到其他节点的home下:
scp -r /home/apache-storm-1.0.6 root@Slave1:/home/

11.启动Storm

启动之前请确保ZooKeeper已正常启动

11.1.nimbus节点启动(无日志)

bin/storm nimbus >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &
supervisor节点启动：
bin/storm supervisor >/dev/null 2>&1 &

11.2.nimbus节点启动(保存日志)：

storm nimbus >nimbusInit.log 2>&1 &
storm ui >uiCoreInit.log 2>&1 &
supervisor节点启动：
storm supervisor > superInit.log 2>&1 &

11.3.Storm启动后相关进程

nimbus启动后相应会产生如下进程：
core（对应Storm UI）
nimbus

supervisor启动后相应会产生如下进程:
supervisor
提交storm任务后还会生成:
worker,LogWriter

11.4.Storm重启

Storm没有提高停止节点的命令，
需要先使用jps或者ps找到Storm所有进程，
再kill掉相应进程，重新启动。

12.运行自带测试用例

cd /home/storm/apache-storm-1.0.1/examples/storm-starter/
storm jar storm-starter-topologies-1.0.1.jar storm.starter.StatefulWindowingTopology wordcount
storm jar storm-starter-topologies-1.0.1.jar storm.starter.StatefulTopology StatefulTopologyNew3

停止拓扑任务wordcount:
storm deactivate wordcount

查看Storm后台管理界面：
Master:18080

查看Storm版本:
storm version

 

转载于:https://www.cnblogs.com/yxnyd/p/11004845.html