Storm集群的安装

原创 2015年11月24日 17:04:04

到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster

安装Storm分为如下5个步骤:

1、安装zookeeper集群

2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.6

3、安装Storm包,解压到Nimbus和Supervisor机器

4、配置Storm的Storm.yaml文件

5、启动Nimbus和Supervisor


1、在进行这5步安装之前,先做好如下准备:

     将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系

2、建议将JAVA JDK的安装和python的安装提前在zookeeper集群安装集成之前

2.1 将JAVA bin包jdk-6u24-linux-i586.bin放在安装目录,修改其执行属性:chmod u+x jdk-6u24-linux-i586.bin

2.2 执行此bin文件:./jdk-6u24-linux-i586.bin,会自动解压到当前目录

2.3 修改目录名为jdk

2.4 修改~/.profile

导出环境变量:export JAVA_HOME=/home/storm/software/jdk,根据实际情况修改目录路径

将JAVA_HOME/bin加入PATH属性中:export PATH=.:$JAVA_HOME/bin:$PATH

2.5 执行source ~/.profile,使得环境变量生效

2.6 执行java -version,确认java已经安装成功


python一般的Linux都会默认安装,只要确认版本是否是2系列,并且高于2.6.6即可:python -V

3、zookeeper集群的安装

请参考我的博客文章:http://blog.csdn.net/wb81074/article/details/50516193

4、安装Storm

0.9之前的Storm版本需要安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。

我们安装apache-storm-0.9.1-incubating版本。

4,1 到apache storm官网下载0.9.1版本

4.2 解压到当前目录:tar -xzf apache-storm-0.9.1-incubating.tar.gz

4.3 修改目录名:mv apache-storm-0.9.1-incubating storm

4.4 修改~/.profile文件:

导出环境变量:export STORM_HOME=/home/storm/software/storm

加入PATH变量:export PATH=.:$STORM_HOME/bin:$PATH

4.5 使得.profile文件在当前会话中生效:source ~/.profile

4.6 修改storm配置文件:STORM_HOME/conf/storm.yaml,将如下内容去掉前面的#号,注意开头的空格以及冒号之后也有空格:

(应该可以把IP地址改为主机名,没试过)

 storm.zookeeper.servers:
     - "10.118.15.21"
     - "10.118.15.22"

    - "10.118.15.23"
 nimbus.host: "10.118.15.21"
 storm.zookeeper.port: 2181
 storm.local.dir: "/home/storm/software/storm/data"
 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

4.7 创建目录:/home/storm/software/storm/data

4.8 将storm目录拷贝到其他storm集群机器:scp -rp ~/software/storm/ storm@linux-22:~/software/

4.9 确认zookeeper集群已经启动成功,然后启动storm集群:

在master机器上运行:storm nimbus &

在supervisor机器上运行:storm supervisor &

在master机器上运行:storm ui & 

在master机器上运行:storm logviewer &

4.10 执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。

4.11 在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

搭建storm集群(apache-storm-0.9.5.tar.gz)

//搭建storm集群(apache-storm-0.9.5.tar.gz) # by coco # 2015-07-15 前期准备:3台服务器: 192.168.8.94  192.168....

Storm集群安装详解

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 ...
  • hguisu
  • hguisu
  • 2013年07月25日 19:58
  • 18774

Redis分布式锁----乐观锁的实现,以秒杀系统为例

摘要:本文使用redis来实现乐观锁,并以秒杀系统为实例来讲解整个过程。 本文源码请在这里下载:https://github.com/appleappleapple/DistributeLear...

storm学习(一):搭建storm单机调试环境

最近工作需要,学习storm的使用。 这里做一下单机环境的搭建备忘: storm官网地址:http://storm-project.net/ 文档地址:http://storm-project.net...
  • wp500
  • wp500
  • 2013年11月04日 14:24
  • 7195

Storm集群安装部署步骤

  • 2017年11月06日 00:25
  • 8KB
  • 下载

storm集群安装与运维.doc

  • 2017年02月10日 14:58
  • 239KB
  • 下载

storm集群安装过程

1.检查系统环境,有python 2.6.6 2.复用已经安装的zookeeper集群 3.在主 4.安装zeromq scp houzhizhen@10.58.182.158:/home...

storm集群安装

  • 2017年08月22日 09:34
  • 501KB
  • 下载

Storm集群安装

1.修改主机名: vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=MASTER 2.修改IP: vim /etc/sysconfig...
  • lixgjob
  • lixgjob
  • 2016年07月24日 10:55
  • 164

Storm集群安装

Storm集群安装需要依次完成的安装步骤: 搭建Zookeeper集群;安装Storm依赖库;下载并解压Storm发布版本;修改storm.yaml配置文件;启动Storm各个后台进程。 2....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm集群的安装
举报原因:
原因补充:

(最多只允许输入30个字)