第132讲：Hadoop集群监控：日志、Metrics学习笔记

第132讲：Hadoop集群监控：日志、Metrics学习笔记

一般用第三方工具，因为有针对性，可视化更好。

监控的目标是检测集群，在什么时候没有提供需要的服务。

hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode和nodemanager。

依据日志可以发现系统的发生的事件。从日志角度讲默认日志信息不够，希望改变日志的级别。这时可在故障排查时可以查看log4j。

log4j.property中可配置log4j。

metrics更有用。因为metrics可以收集hdfs/mapreduce守护进程的事件和统计信息。如datanode会收集写入的字节数，block复本数和客户端发起的读请求，操作的请求数，包括本地和远程。metrics存储于上下文，如hadoop使用的dfs/mapr/rpc等，metrics都会收集。

hadoop-metrics.property中可配置。默认所有上下文都配置成不发布metrics。

用户可以访问守护进程的metrics的信息。如想放在文件中可用fileContext，将metrics定到本地文件。

集群中监控的话，因为fileContext会把集群分为各个节点，给分析带来难度，所以用gangliaContext（后面讲）

 

以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第132讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。

微信公众账号：DT_Spark

联系邮箱18610086859@126.com 

电话：18610086859

QQ:1740415547

微信号：18610086859  

新浪微博：ilovepains

王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！

可以通过王家林老师的微信号18610086859发红包捐助，目前已经发布的王家林免费视频全集如下：

1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq  

2，《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu 

3，《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu 
4，《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25 
5，《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF 
6，《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd 

7，Spark实战高手之路全部六阶段视频：http://edu.51cto.com/pack/view/id-144.html

8，《大数据Spark企业级实战》购买http://item.jd.com/11622851.html

 

第132讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-78712.html