Storm(0.9.7)集群搭建

搭建strom集群需要提前安装JDK、Zookeeper.在linux中解压之后修改配置文件storm.yaml。
1)storm.zookeeper.servers: 用于指定Zookeeper服务器的地址

storm.zookeeper.servers:
     - "node9"
     - "node10"
     - "node11"

2)设置storm存储数据的本地目录

storm.local.dir: "/opt/data/storm"

3)指定storm集群那一台机器作为nimbus,从而worker可以从nimbus获取数据

nimbus.host: "node1"

4)指定supervisor机器上可以运行多少worker进程。每一个端口都可以启动一个worker进程,比如下面设置了四个端口,那么在一台supervisor机器中最多可以运行4个worker。在supervisor启动后,worker进程并不会立即启动,只有任务来临时才会启动,任务结束后worker进程自动关闭。

supervisor.slots.ports: 
    - 6700
    - 6701
    - 6702
    - 6703

5)配置结束后,使用scp命令将修改的storm.yaml文件拷贝到集群的其他节点上

6)集群运行结束命令

// 运行主节点:nimbus
storm nimbus &
// 运行从节点:supervisor
storm supervisor &
// 运行web ui:core,运行后可以通过浏览器中8080端口查看如:http://192.168.246.181:8080
storm ui &
// 运行自带的测试例子WordCount
storm jar storm-starter-0.9.7.jar storm.starter.WordCountTopology WordCount

// 停止进程运行和杀死拓扑作业
pkill -f nimbus
pkill -f supervisor
pkill -f ui
storm kill WordCount
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值