Storm启动配置

[size=large]一、安装Storm[/size]
wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
tar xzvf ./apache-storm-1.0.3.tar.gz

[size=large]二、新建data文件夹[/size] mkdir data;查看目录:pwd
为strom配置本地目录作准备。
storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】
[size=large]
三、配置根目录conf/storm.yaml配置文件[/size]
注意配置字母前/冒号后,以空格开头:

最终配置如下:
[quote]
storm.zookeeper.servers:
- "master"
- "slave"

drpc.servers:
- "master"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707

ui.port: 8081

storm.local.dir: “/opt/apache-storm-1.0.3/data"
[/quote]


3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
[quote]
例如:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1   localhost.localdomain localhost
192.168.1.195  debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master[/quote]
[quote]
打开: storm.zookeeper.servers:
- "master“
- “slave“
打开: drpc.servers:
- "master“
[/quote]

3.2 配置slot端口号
supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707


3.3 配置stormUI端口号

ui.port: 8081


3.4 配置storm本地目录
创建目录:根目录apache-storm-1.0.3下data文件夹
mkdir data;
pwd查看目录路径
增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"

[size=large]四、启动测试[/size]
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。

1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。

2、配置好zookeeper中myid,启动zookeeper。

3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
运行master机器下的命令”bin/storm logviewer &”查看工作日志。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值