大数据技术--实验07-Storm的安装与使用【实测可行】

Storm的安装与使用

一、安装配置storm

1. apache-storm-0.9.6.tar.gz的下载

http://archive.apache.org/dist/storm/apache-storm-0.9.6/

2.解压：

cd /home/hadoop

tar -zxvf apache-storm-0.9.6.tar.gz -C local/opt

3.配置环境变量：

vim /etc/profile   #若不是root用户，则使用sudo

添加 

export STORM_HOME=/home/hadoop/local/opt/apache-storm-0.9.6

export PATH=$PATH:$STORM_HOME/bin

刷新环境变量：

source /etc/profile

4.配置storm.yaml

cd /home/hadoop/local/opt/ apache-storm-0.9.6/conf

vim storm.yaml

直接添加：

storm.zookeeper.servers:

    - "master"

    - "slave"

nimbus.host: "master"

#配置storm数据存储路径

storm.local.dir: "/tmp/storp"

#配置supervisor:两个slave，对应两个worker进程

supervisor.slots.ports :

    - 6700

    - 6701

#配置节点健康检测

storm.health.check.dir: "healthchecks"

storm.health.check.timeout.ms : 5000

#配置storm UI(为了避免与spark的8080瑞口冲突，改为8089)

ui.port: 8089

 5.分发给slave节点

scp -r /home/hadoop/local/opt/apache-storm-0.9.6 hadoop@slave:/home/hadoop/local/opt/

6.启动：

先开启hdfs和yarn

start-dfs.sh

start-yarn.sh

或者直接

start-all.sh

启动zookeeper集群需要在每台服务器上都运行命令：

cd /home/hadoop/local/opt/zookeeper-3.4.5

bin/zkServer.sh start

在master上启动

查看进程编号：

storm nimbus &

查看进程  

jps

在master上启动

Storm ui &

在 master上启动

Storm supervisor & 

Jps

在 slave上启动

cd /home/hadoop/local/opt/apache-storm-0.9.6

bin/storm supervisor &

7.web测试

http://192.168.42.128:8089

二、Storm常用操作命令

1、任务提交命令：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

cd /home/hadoop/local/opt/apache-storm-0.9.6

storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar org.apache.storm.starter.WordCountTopology wordcount

2、杀死任务命令：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）

storm kill topology-name -w 10

3、停用任务命令：storm deactive  【拓扑名称】

storm deactive topology-name

我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

4、启用任务命令：storm activate 【拓扑名称】

storm activate topology-name

5、重新部署任务命令：storm rebalance  【拓扑名称】

storm rebalance topology-name

再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配worker，并重启拓扑。