Storm集群搭建-01

jar包下载

       （1）官方网址：http://storm.apache.org/

虚拟机准备

1）准备3台虚拟机

2）配置ip地址

3）配置主机名称

4）3台主机分别关闭防火墙

5)  安装jdk

6)  安装Zookeeper集群

 

Storm集群部署

解压后,进入storm/目录下创建data文件夹,用来存放数据

修改这个配置文件时,格式要正确每行之间不要留空格,按照我的样式配,不然启动会报错.

# 设置Zookeeper的主机名称
storm.zookeeper.servers:
     - "hadoop-senior01.buba.com"
     - "hadoop-senior02.buba.com"
     - "hadoop-senior03.buba.com"
 
 # 设置主节点的主机名称
nimbus.seeds: ["hadoop-senior01.buba.com"]
# 设置Storm的数据存储路径
storm.local.dir: "/opt/modules/apache-storm-1.1.0/data"
# 设置Worker的端口号,可以自行添加,多少个都行,取决于自己想开几个程序
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

配置环境变量   vim /etc/profile

把环境变量和storm分发到另外两台节点.

root权限下执行  :scp /etc/profile root@hadoop-senior02.buba.com:/etc/   

root权限下执行  :scp /etc/profile root@hadoop-senior03.buba.com:/etc/   

普通用户下执行  :scp -r /opt/modules/apache-storm-1.1.0/  kxj@hadoop-senior02.buba.com:/opt/modules/

普通用户下执行  :scp -r /opt/modules/apache-storm-1.1.0/  kxj@hadoop-senior03.buba.com:/opt/modules/

启动集群

（1）后台启动nimbus

[kxj@hadoop-senior01 apache-storm-1.1.0]$ bin/storm nimbus &

[kxj@hadoop-senior02 apache-storm-1.1.0]$ bin/storm nimbus &

[kxj@hadoop-senior03 apache-storm-1.1.0]$ bin/storm nimbus &

（2）后台启动supervisor

[kxj@hadoop-senior01 apache-storm-1.1.0]$ bin/storm supervisor 

[kxj@hadoop-senior02 apache-storm-1.1.0]$ bin/storm supervisor 

[kxj@hadoop-senior03 apache-storm-1.1.0]$ bin/storm supervisor 

（3）启动Storm ui

[kxj@hadoop-senior01 apache-storm-1.1.0]$ bin/storm ui

访问8080端口就会出来strom详情页面

Storm日志信息查看

1）查看nimbus的日志信息

在nimbus的服务器上

cd logs

tail -f /opt/module/storm/logs/nimbus.log

2）查看ui运行日志信息

在ui的服务器上，一般和nimbus一个服务器

tail -f ui.log

3）查看supervisor运行日志信息

在supervisor服务上

tail -f supervisor.log

4）查看supervisor上worker运行日志信息

在supervisor服务上

tail -f worker-6702.log

5）logviewer，可以在web页面点击相应的端口号即可查看日志

分别在supervisor节点上执行：

[kxj@hadoop-senior01 apache-storm-1.1.0]$ bin/storm logviewer &

启动后在ui页面点下面地方查看日志信息

Storm命令行操作

1）nimbus：启动nimbus守护进程

       storm nimbus

2）supervisor：启动supervisor守护进程

       storm supervisor

3）ui：启动UI守护进程。

       storm ui

4）list：列出正在运行的拓扑及其状态

       storm list

5）logviewer：Logviewer提供一个web接口查看Storm日志文件。

       storm logviewer

6）jar：

storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

7）kill：杀死名为Topology-name的拓扑

       storm kill topology-name [-w wait-time-secs]

       -w：等待多久后杀死拓扑

8）active：激活指定的拓扑spout。

storm activate topology-name

9）deactivate：禁用指定的拓扑Spout。

       storm deactivate topology-name

10）help：打印一条帮助消息或者可用命令的列表。

       storm help

       storm help <command>