【Storm】集群统一启动和停止shell脚本开发

本文介绍了如何开发一个Shell脚本来统一启动和停止Storm集群,包括设置环境变量、编写启动和停止脚本,并将脚本拷贝到所有Supervisor节点,以及通过监控界面验证脚本的正确执行。
摘要由CSDN通过智能技术生成

hadoop集群有统一启动的命令

start-all.sh    启动全部进程
stop-all.sh     停止全部进程

hadoop如果用cdh版本 + Cloudera Manager界面化管理,直接在界面上点击按钮即可启动集群。

而storm集群有多个进程在运行,只能运行以下命令逐一去停止

kill -9 进程id

这样子很不方便,可以采用shell脚本来启停所有storm进程。

 

日志查看

0.9.0版本开始storm增加了一个很给力的特性logviewer,在早期的版本里,查看worker节点的日志决定于worker节点的位置(host/port),典型的是通过storm UI,然后用ssh连接那台主机查看改主机上worker的日志文件。

 

在最新的日志查看机制里,现在可以很容易的去访问一个指定worker节点的日志,你只需要在浏览器的storm UI里点击worker的port就可以。

 

新的logviewer进程与supervisor是相对独立的进程,如果是在新的storm里启动了它,你只需要在集群的supervisor节点执行如下命令

storm logviewer

另外,0.9以后的storm新版本里面大量使用slf4j的API,而有些storm的依赖库或storm的使用者则依赖于log4j的API。所以现在storm改为依赖于log4j-over-slf4j,他可以在log4j和slf4j之间架起一座桥梁。

 

案例实践:

1、启动zookeeper集群,启动storm集群,启动ui

2、在nimbus启动topology任务

./storm jar /opt/datas/stormjars/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar lock.PVTopo PVTopo

3、浏览器打开监控界面 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值