storm集群部署

一、提交作业到storm集群来运行

1、安装Java 和 Pythong

2、下载storm安装包，解压缩，重命名，配置环境变量
vim /etc/profile

#storm
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

source /etc/profile 

3、修改storm配置文件(每个节点都要)

mkdir -p /var/storm（存放日志文件）

vim  conf/storm.yaml

storm.zookeeper.servers:     （服务的ip）
  - "111.222.333.444"
  - "555.666.777.888"

storm.local.dir: "/var/storm"      （日志地址）

nimbus.seeds: ["111.222.333.44"]     （nimbus 地址）

slots.ports，指定每个机器上可以启动多少个worker，一个端口号代表一个worker

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

(4)启动storm集群和ui界面

一个节点

storm nimbus >/dev/null 2>&1 &

三个节点

storm supervisor >/dev/null 2>&1 &

一个节点

storm ui >/dev/null 2>&1 &

我们需要在两个supervisor节点上，启动logviewer，然后才能看到日志，2个节点

storm·1ogviewer·>/dev/nu11·2>&1·8

5、访问一下ui界面，8080端口

http://192.168.25.102:8080

二、提交作业到storm集群来运行

将工程，进行打包

1、提交作业到storm集群

storm jar jar包 全类名 名称

例如：

storm jar storm-1.0-SNAPSHOT.jar com.zhihua.test.WordCountTopology WordCountTopology

2、在storm ui上观察storm作业的运行

3、kill掉某个storm作业

storm kill topology-name