Storm-1.1.0 集群搭建手册---[还有升级的小技巧哦]

部署前准备
 
下载apache-storm-1.1.0
http://storm.apache.org/downloads.html网页下去寻找apache-storm-1.1.0.tar.gz,然后下载此虚拟机版本
 
/etc/hosts信息
ip1 master
ip2 slave1
ip3 slave2
例如:
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2


 
zookeeper信息
master:2181
slave1:2181
slave2:2181
 
Storm部署
Nimbus:master(active),slave1
Supervisor:master,slave1,slave2
 
检查python
[cyt@master ~]$ python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 
exit() 退出
 
0、在3台服务器上配置hosts
vim /etc/hosts
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2
 
1、将apache-storm-1.1.0.tar.gz上传到storm安装目录 用户的目录下
假设为:/home/cyt/Storm/storm-1.1.0
 
2、解压

将apache-storm-1.1.0.tar.gz解压:

进入到安装包所在目录,然后执行此命令。

tar -zxvf apache-storm-1.1.0.tar.gz
 
3、重命名(非必需感觉没必要)
将解压后的目录命名为storm
mv apache-storm-1.1.0 storm
 也可以建立软连接(这个本人推荐)
  建立软连接-必须是绝对路径【相当于快捷方式】 例如:/home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0/建立 /home/cyt/storm
ln -s /home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0 /home/cyt/storm
4、配置storm.yaml
进入storm/conf目录,修改storm.yaml配置文件为如下内容:
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
#storm.zookeeper.port: 2181
 nimbus.host: "master"

 ui.port: 9999

#这个需要指定到用户目录下的一个文件夹

 storm.local.dir: "/home/cyt/data/storm-1.1.0"

 supervisor.slots.ports:
     - 6700
     - 6701
#nimbus H/A
 nimbus.seeds: ["master", "slave1"]


 
注:每一个配置点前面需要加一个空格“”,否则启动时会报配置文件相关异常。
 
绝大多数配置信息都是使用默认值,具体参考:
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
 

{在这我需要插一句话了哦,如果你是Storm集群的升级的话,你需要去Zookeeper的客户端删除掉storm

如果你配置了Zookeeper的话

直接输入命令:zkCli.sk 

进入后 在输入:ls /   你会看到storm

删除storm: rmr /storm

}

5、进程启动
在master、slave1、slave2完成前面4步之后,按nimbus、supervisor的分布情况启动storm进程:
master 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
 
slave1 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
  
slave2 启动supervisor
./storm/bin/storm supervisor &
 
 --为了方便,不去查找启动命令的路径,建议去配置环境变量
vim /etc/profile
#storm-1.1.0
export STORM_HOME=/home/cyt/storm
export PATH=$PATH:$STORM_HOME/bin
配置完环境变量后的启动命令:
master 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
 
slave1 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
  
slave2 启动supervisor
storm supervisor &

       后台启动命令=》在storm的安装目录下的bin文件夹启动storm进程:

       启动主控节点nimbus服务:
              bin/storm nimbus 1>/dev/null 2>&1 &  

      启动主控节点UI:
              bin/storm ui 1>/dev/null 2>&1 &  

     启动工作节点supervisor
             bin/storm supervisor 1>/dev/null 2>&1 &



6、验证
http://master:9999

阅读更多
个人分类: storm集群搭建手册
上一篇基于改进的K-means算法在共享交通行业客户细分中的应用
下一篇Storm-kafka集成——1.1.0版本storm中tuple取KafkaSpout数据详解
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭