storm集群搭建小记

storm 安装记录

伪分布式安装

​ 1.下载storm包：https://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz

​ 2.解压strom包: tar -xvf apache-storm-1.2.2.tar.gz

​ 3.在storm根目录下创建logs日志目录

​ 4.启动服务：

分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer

	$ ./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
	$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
	$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
	$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
	$ ./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &

5.访问web服务验证：node1:8080
6.提交任务执行：./bin/storm jar jarpath mainClass args

​

全分布式安装

​ 1.规划集群服务

节点	zookeeper	nimbus	supervisor	ui
node1	1	1		1
node2	1		1
node3	1		1

​ 2.搭建zookeeper集群

​ a. 下载zookeeper：http://ftp.jaist.ac.jp/pub/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

​ b. 解压：tar -xvf zookeeper-3.4.13.tar.gz

​ c. 更改配置：

vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
server.1=node1:2888:3888
server.2=node3:2888:3888
server.3=node3:2888:3888

​ d. 分发文件到其他节点：scp -r zookeeper node2:pwd

​ e. 创建dataDir文件夹(每个节点)：mkdir -p /var/zookeeper

​ f.分别在节点上的dataDir目录下创建myid文件，同时将服务id写入文件：

//节点1
echo 1 >> /var/zookeeper/myid
//节点2
echo 1 >> /var/zookeeper/myid
//节点3
echo 1 >> /var/zookeeper/myid

​ g. 启动服务(每个节点)：./bin/zkServer.sh start

​ h. 验证服务启动（每个节点）：./bin/zkServer.sh status

3.下载storm并解压:和伪分布式一样

4.配置storm：vim storm.yaml

//添加如下配置
#zookeeper服务节点
storm.zookeeper.servers:
     - "node1"
     - "node2"
     - "node3"
#本地数据存放目录
storm.local.dir: "/var/storm"
#nimbus节点
nimbus.host: "node1"
#supervisor卡槽端口
supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

​ 5.分发文件到其他节点，同时创建storm.local.dir目录：scp -r storm node2:pwd

​ 6.启动服务

启动命令和伪分布式相同， 只是需要根据集群规划，在不同的节点上启动不同的服务

​ 7.验证：和伪分布式一样，可以通过web界面看到在不同的节点上有不同的服务，和集群划分一样