Apache Storm学习笔记一：创建Storm集群

最新推荐文章于 2021-04-05 08:45:59 发布

乃刀的青春

最新推荐文章于 2021-04-05 08:45:59 发布

阅读量1.2k

点赞数

分类专栏： storm java 文章标签： storm

本文链接：https://blog.csdn.net/heartroll/article/details/78477867

版权

本文是Apache Storm 1.1.1的学习笔记，主要介绍了如何创建Zookeeper集群，配置storm.yaml，安装nimbus和worker机器的依赖，以及启动storm守护进程。强调了Zookeeper必须在监控模式下运行并定期压缩日志，storm配置包括nimbus.seeds、storm.zookeeper.servers等关键参数，以及启动nimbus、supervisor和UI的命令。

摘要由CSDN通过智能技术生成

这学习笔记系列采用的是storm1.1.1版本。参照官方文档：http://storm.apache.org/releases/1.1.1/

1创建zookeeper集群
2在nimbus和worker机器上安装依赖
3下载storm发布到nimbus和worker的机器上
4配置stormyaml
5通过storm脚本运行守护进程

1、创建zookeeper集群

Storm使用zookeeper来协调集群。zookeeper没有用来做消息传递，所以storm在zookeeper的负载很低。单个节点的zookeeper集群在大多数情况下就足够，但是如果你想要故障切换或者正在部署一个比较大的storm集群你就需要一个大的zookeeper集群。

关于zookeeper部署需要注意：
1). zookeeper必须在监控模式下运行。因为zookeeper是个快读失败的系统，如果遇到了故障，zookeeper会主动关闭。
2). 需要设置一个cron服务来定时压缩zookeeper的数据与事务日志。因为zookeeper的后台进程不会处理这个问题，如果不配置cron，zookeeper的日志会很快将磁盘填满。