集群监控
whzatsh
目前在TOP5银行做大数据开发,正在修炼中.....
展开
-
如何对CDH集群的服务进行监控告警
众所周知,运维以Hadoop为主的大数据平台的难点在于其生态组件众多,各组件之间的交互关系复杂,问题排查修复困难。而Cloudera推出的CDH(Cloudera Distribution Hadoop)能够让用户通过其中的Cloudera Manager十分方便地部署和管理Hadoop集群。Cloudera官方提供了Cloudera Manager的Java和Python版本的API接口供用...原创 2019-11-03 20:35:43 · 6173 阅读 · 1 评论 -
如何对CDH集群上用户提交的作业进行监控告警
以CDH6.0.1版本为例,其资源管理框架是YARN,对于所有跑在YARN上的job(或app),都可以通过YARN的ResourceManager(简称RM)提供的restful API请求查询其运行状态。其GET请求命令格式如下:GET http(or https)://rm-http(or https)-address:port/ws/v1/cluster/apps返回结果为json格式的所有YARN记录的job信息。也可在上述命令的URL后面添加多个过滤参数,支持的过滤参数有如下几个:原创 2020-10-06 18:37:29 · 948 阅读 · 0 评论