关闭

Storm集群的安装

标签: storm大数据storm安装
3455人阅读 评论(0) 收藏 举报
分类:

到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster

安装Storm分为如下5个步骤:

1、安装zookeeper集群

2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.6

3、安装Storm包,解压到Nimbus和Supervisor机器

4、配置Storm的Storm.yaml文件

5、启动Nimbus和Supervisor


1、在进行这5步安装之前,先做好如下准备:

     将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系

2、建议将JAVA JDK的安装和python的安装提前在zookeeper集群安装集成之前

2.1 将JAVA bin包jdk-6u24-linux-i586.bin放在安装目录,修改其执行属性:chmod u+x jdk-6u24-linux-i586.bin

2.2 执行此bin文件:./jdk-6u24-linux-i586.bin,会自动解压到当前目录

2.3 修改目录名为jdk

2.4 修改~/.profile

导出环境变量:export JAVA_HOME=/home/storm/software/jdk,根据实际情况修改目录路径

将JAVA_HOME/bin加入PATH属性中:export PATH=.:$JAVA_HOME/bin:$PATH

2.5 执行source ~/.profile,使得环境变量生效

2.6 执行java -version,确认java已经安装成功


python一般的Linux都会默认安装,只要确认版本是否是2系列,并且高于2.6.6即可:python -V

3、zookeeper集群的安装

请参考我的博客文章:http://blog.csdn.net/wb81074/article/details/50516193

4、安装Storm

0.9之前的Storm版本需要安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。

我们安装apache-storm-0.9.1-incubating版本。

4,1 到apache storm官网下载0.9.1版本

4.2 解压到当前目录:tar -xzf apache-storm-0.9.1-incubating.tar.gz

4.3 修改目录名:mv apache-storm-0.9.1-incubating storm

4.4 修改~/.profile文件:

导出环境变量:export STORM_HOME=/home/storm/software/storm

加入PATH变量:export PATH=.:$STORM_HOME/bin:$PATH

4.5 使得.profile文件在当前会话中生效:source ~/.profile

4.6 修改storm配置文件:STORM_HOME/conf/storm.yaml,将如下内容去掉前面的#号,注意开头的空格以及冒号之后也有空格:

(应该可以把IP地址改为主机名,没试过)

 storm.zookeeper.servers:
     - "10.118.15.21"
     - "10.118.15.22"

    - "10.118.15.23"
 nimbus.host: "10.118.15.21"
 storm.zookeeper.port: 2181
 storm.local.dir: "/home/storm/software/storm/data"
 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

4.7 创建目录:/home/storm/software/storm/data

4.8 将storm目录拷贝到其他storm集群机器:scp -rp ~/software/storm/ storm@linux-22:~/software/

4.9 确认zookeeper集群已经启动成功,然后启动storm集群:

在master机器上运行:storm nimbus &

在supervisor机器上运行:storm supervisor &

在master机器上运行:storm ui & 

在master机器上运行:storm logviewer &

4.10 执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。

4.11 在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息


1
0

猜你在找
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:33324次
    • 积分:595
    • 等级:
    • 排名:千里之外
    • 原创:23篇
    • 转载:10篇
    • 译文:2篇
    • 评论:3条
    文章分类
    最新评论