Apache Storm学习笔记一:创建Storm集群

这学习笔记系列采用的是storm1.1.1版本。参照官方文档:http://storm.apache.org/releases/1.1.1/

1、创建zookeeper集群

Storm使用zookeeper来协调集群。zookeeper没有用来做消息传递,所以storm在zookeeper的负载很低。单个节点的zookeeper集群在大多数情况下就足够,但是如果你想要故障切换或者正在部署一个比较大的storm集群你就需要一个大的zookeeper集群。

关于zookeeper部署需要注意:
1). zookeeper必须在监控模式下运行。因为zookeeper是个快读失败的系统,如果遇到了故障,zookeeper会主动关闭。
2). 需要设置一个cron服务来定时压缩zookeeper的数据与事务日志。因为zookeeper的后台进程不会处理这个问题,如果不配置cron,zookeeper的日志会很快将磁盘填满。

2、在nimbus和worker机器上安装依赖

接下来你需要在nimbus和worker机器上安装storm的依赖.如下:
1). JAVA 7+ (Apache Storm1.x在java7 和java8都测试通过了)
2). Python2.6.6(Python 3.x也可以工作,但不作为CI环境的一部分进行测试)

以上均为在 Storm 上测试通过的版本。Storm 并不保证对其他版本的 Java 或 Python 的支持。

3、下载storm发布到nimbus和worker的机器上

下载storm的发行版然后在nimbus和每一台worker的机器上解压。storm的发行本也可以从这里下载

4、配置storm.yaml<

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值