Storm集群搭建

Storm集群搭建

官方网址：http://storm.apache.org/
官方安装步骤：https://storm.apache.org/releases/1.1.2/Setting-up-a-Storm-cluster.html

集群规划

hadoop102	hadoop103	hadoop104
zk	zk	zk
storm	storm	storm

默认认为，jdk、zookeeper已安装成功
Linux安装JDK
Linux安装Zookeeper

1. 解压jar包到/opt/module目录下

$ tar -zxvf apache-storm-1.1.0.tar.gz -C /opt/module/

2. 修改解压后的apache-storm-1.1.0.tar.gz文件名称为storm

$ mv apache-storm-1.1.0/ storm

3. 在/opt/module/storm/目录下创建data文件夹

$ mkdir data

4. 修改配置文件

$ pwd
/opt/module/storm/conf

 vi storm.yaml
#设置Zookeeper的主机名称
storm.zookeeper.servers:
     - "hadoop102"
     - "hadoop103"
     - "hadoop104"

#设置主节点的主机名称
nimbus.seeds: ["hadoop102"]
#设置Storm的数据存储路径
storm.local.dir: "/opt/module/storm/data"
#设置Worker的端口号
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

5. 配置环境变量

[root@hadoop102 storm]# vi /etc/profile
#STORM_HOME
export STORM_HOME=/opt/module/storm
export PATH=$PATH:$STORM_HOME/bin
[root@hadoop102 storm]# source /etc/profile

6. 分发配置好的Storm安装包
   [upuptop@hadoop102 storm]$ xsync storm/
7. 启动集群
   （1）后台启动nimbus

	[upuptop@hadoop102 storm]$ bin/storm nimbus &
	[upuptop@hadoop103 storm]$ bin/storm nimbus &
	[upuptop@hadoop104 storm]$ bin/storm nimbus &

（2）后台启动supervisor

	[upuptop@hadoop102 storm]$ bin/storm supervisor &
	[upuptop@hadoop102 storm]$ bin/storm supervisor &
	[upuptop@hadoop102 storm]$ bin/storm supervisor &

（3）启动Storm ui

[upuptop@hadoop102 storm]$ bin/storm ui

8. 通过浏览器查看集群状态
   http://hadoop102:8080/index.html

Storm日志信息查看

1. 查看nimbus的日志信息

在nimbus的服务器上

cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/nimbus.log

2. 查看ui运行日志信息

在ui的服务器上，一般和nimbus一个服务器
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/ui.log

3. 查看supervisor运行日志信息

在supervisor服务上
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/supervisor.log

4. 查看supervisor上worker运行日志信息

在supervisor服务上
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/worker-6702.log

5. logviewer，可以在web页面点击相应的端口号即可查看日志

分别在supervisor节点上执行：
[upuptop@hadoop102 storm]$ bin/storm logviewer &
[upuptop@hadoop103 storm]$ bin/storm logviewer &
[upuptop@hadoop104 storm]$ bin/storm logviewer &

Storm命令行操作

1. nimbus：启动nimbus守护进程

	storm nimbus

2. supervisor：启动supervisor守护进程

	storm supervisor

3. ui：启动UI守护进程。

	storm ui

4. list：列出正在运行的拓扑及其状态

	storm list

5. logviewer：Logviewer提供一个web接口查看Storm日志文件。

	storm logviewer

6. jar：

storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

7. kill：杀死名为Topology-name的拓扑

	storm kill topology-name [-w wait-time-secs]
	-w：等待多久后杀死拓扑

8. active：激活指定的拓扑spout。

storm activate topology-name

9. deactivate：禁用指定的拓扑Spout。

	storm deactivate topology-name 

10. help：打印一条帮助消息或者可用命令的列表。

	storm help
	storm help <command>

本博客仅为博主学习总结，感谢各大网络平台的资料。蟹蟹!!