Storm集群环境安装

1.安装jdk，python环境（略）

2.下载Storm

wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

拷贝到其他服务器： scp apache-storm-1.1.1.tar.gz root@Cluster02:~

3.安装zookeeper集群

①.下载zookeeper

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

②.解压

tar -zvxf zookeeper-3.4.10.tar.gz

mv zookeeper-3.4.10 zookeeper

cp zoo_sample.cfg zoo.cfg

③.修改配置文件zoo.cfg：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper

clientPort=2181

server.1=Cluster01:2888:3888

server.2=Cluster02:2888:3888

server.3=Cluster03:2888:3888

④.创建myid

mkdir /tmp/zookeeper

cd /tmp/zookeeper/

touch myid

echo "1" > myid

⑤.将文件分发其他服务器上并修改myid

scp -r zookeeper root@Cluster02:~

 

mkdir /tmp/zookeeper

cd /tmp/zookeeper/

touch myid

echo "2" > myid

 

mkdir /tmp/zookeeper

cd /tmp/zookeeper/

touch myid

echo "3" > myid

 

⑥在三台服务器上启动zookeeper

zookeeper/bin/zkServer.sh start

查看节点状态信息：bin/zkServer.sh status

4.修改Storm配置文件

mkdir /root/apache-storm-1.1.1/data

vim /root/apache-storm-1.1.1/conf/storm.yaml

-----------------------------------------------------------

storm.zookeeper.servers:

- "192.168.25.100"

- "192.168.25.101"

- "192.168.25.102"

nimbus.seeds: ["192.168.25.100"]

storm.local.dir: "/root/apache-storm-1.1.1/data"

ui.port: 18080

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

---------------------------------------------------------------

1) storm.zookeeper.servers：这是 Storm 关联的 ZooKeeper 集群的地址列表，此项的配置是如下所示：

storm.zookeeper.servers:

- "192.168.25.100"

- "192.168.25.101"

- "192.168.25.102"

注意，如果你使用的 ZooKeeper 集群的端口不是默认端口，你还需要相应地配置 storm.zookeeper.port。

2) storm.local.dir：Nimbus 和 Supervisor 后台进程都需要一个用于存放一些状态数据（比如 jar 包、配置文件等等）的目录。你可以在每个机器上创建好这个目录，赋予相应的读写权限，并将该目录写入配置文件中，如下所示：

storm.local.dir: "/root/apache-storm-1.1.1/data"

3) nimbus.seeds用于配置主控节点的地址，可以配置多个:

nimbus.seeds: ["192.168.25.100"]

4) supervisor.slots.ports：你需要通过此配置项配置每个 Supervisor 机器能够运行的工作进程（worker）数。每个 worker 都需要一个单独的端口来接收消息，这个配置项就定义了 worker 可以使用的端口列表。如果你在这里定义了 5 个端口，那么 Storm 就会在该机器上分配最多 5 个worker。如果定义 3 个端口，那 Storm 至多只会运行三个 worker。此项的默认值是 6700、6701、6702、6703 四个端口，如下所示：

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

5)UI的端口号：

ui.port: 18080

5.复制到其他服务器：

scp -r apache-storm-1.1.1 root@Cluster03:~

 

启动后台进程的方法：

Nimbus：在 master 机器上，在监控下执行 /root/apache-storm-1.1.1/bin/storm nimbus &命令。

Supervisor：在每个工作节点上，在监控下执行/root/apache-storm-1.1.1/bin/storm supervisor &命令。Supervisor 的后台进程主要负责启动/停止该机器上的 worker 进程。

UI：在 master 机器上，在监控下执行/root/apache-storm-1.1.1/bin/storm ui & 命令启动 Storm UI（Storm UI 是一个可以在浏览器中方便地监控集群与拓扑运行状况的站点）后台进程。可以通过 http://{nimbus.host}:18080 来访问 UI 站点。

启动后台进程非常简单。同时，各个后台进程也会将日志信息记录到 Storm 安装程序的 logs/ 目录中（这是 Storm 的默认设置，日志文件的路径与相关配置信息可以在 {STORM_HOME}/logback/cluster.xml 文件中