Storm-1.1.0 集群搭建手册---[还有升级的小技巧哦]

版权声明:有喜欢的欢迎转载,有不理解的,我们共同讨论。 https://blog.csdn.net/qq_39736482/article/details/80692773

部署前准备
 
下载apache-storm-1.1.0
http://storm.apache.org/downloads.html网页下去寻找apache-storm-1.1.0.tar.gz,然后下载此虚拟机版本

此文拿三个节点类比N个节点的Storm集群配置的搭建,此文搭建的是HA-Storm的集群。

下面就让我们一起来搭建storm集群,具体步骤如下:
 
/etc/hosts信息
ip1 master
ip2 slave1
ip3 slave2
例如:
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2


 
zookeeper信息
master:2181
slave1:2181
slave2:2181
 
Storm部署
Nimbus:master(active),slave1
Supervisor:master,slave1,slave2
 
检查python
[cyt@master ~]$ python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 
exit() 退出
 
0、在3台服务器上配置hosts
vim /etc/hosts
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2
 
1、将apache-storm-1.1.0.tar.gz上传到storm安装目录 用户的目录下
假设为:/home/cyt/Storm/storm-1.1.0
 
2、解压

将apache-storm-1.1.0.tar.gz解压:

进入到安装包所在目录,然后执行此命令。

tar -zxvf apache-storm-1.1.0.tar.gz
 
3、重命名(非必需感觉没必要)
将解压后的目录命名为storm
mv apache-storm-1.1.0 storm
 也可以建立软连接(这个本人推荐)
  建立软连接-必须是绝对路径【相当于快捷方式】 例如:/home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0/建立 /home/cyt/storm
ln -s /home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0 /home/cyt/storm
4、配置storm.yaml
进入storm/conf目录,修改storm.yaml配置文件为如下内容:
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
#storm.zookeeper.port: 2181
 nimbus.host: "master"

 ui.port: 9999

#这个需要指定到用户目录下的一个文件夹

 storm.local.dir: "/home/cyt/data/storm-1.1.0"

 supervisor.slots.ports:
     - 6700
     - 6701
#nimbus H/A
 nimbus.seeds: ["master", "slave1"]


 
注:每一个配置点前面需要加一个空格“”,否则启动时会报配置文件相关异常。
 
绝大多数配置信息都是使用默认值,具体参考:
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
 

{在这我需要插一句话了哦,如果你是Storm集群的升级的话,你需要去Zookeeper的客户端删除掉storm

如果你配置了Zookeeper的环境变量的话,如果没有需要进入Zookeeper安装目录的bin目录下执行

没有配置环境变量的命令:./zkCli.sh

配置环境变量的直接输入命令:zkCli.sh 

进入后 在输入:ls /   你会看到storm

删除storm: rmr /storm

}

5、进程启动
在master、slave1、slave2完成前面4步之后,按nimbus、supervisor的分布情况启动storm进程:
master 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
 
slave1 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
  
slave2 启动supervisor
./storm/bin/storm supervisor &
 
 --为了方便,不去查找启动命令的路径,建议去配置环境变量
vim /etc/profile
#storm-1.1.0
export STORM_HOME=/home/cyt/storm
export PATH=$PATH:$STORM_HOME/bin
配置完环境变量后的启动命令:
master 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
 
slave1 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
  
slave2 启动supervisor
storm supervisor &

       后台启动命令=》在storm的安装目录下的bin文件夹启动storm进程:

       启动主控节点nimbus服务:
              bin/storm nimbus 1>/dev/null 2>&1 &  

      启动主控节点UI:
              bin/storm ui 1>/dev/null 2>&1 &  

     启动工作节点supervisor
             bin/storm supervisor 1>/dev/null 2>&1 &



6、验证
http://master:9999

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页