分析hadoop日志之前传-采用flume进行日志收集
公司hadoop集群有几百台了,对整体集群的计算能力还需要有个总体的掌握,每天有多少job计算,占用slot,MR有多少,哪些任务比较占用时间,需要放到比较空闲的时间计算等。。任务来了,我们该怎么办呢?由于公司集群大部分运行在hadoop 1.x上,在hadoop 1.x里job都是在jobtracker里进行分配,所以,可以对jt进行日志采集,然后对日志进行分析即可得到集群的任务分配,运行情况了
原创
2015-07-22 18:11:12 ·
5424 阅读 ·
1 评论