![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
文章平均质量分 81
fantuanbaba
这个作者很懒,什么都没留下…
展开
-
执行一个MapReduce时,应该监控些什么
执行一个MapReduce时,应该监控些什么前言 本文讨论的是,在以Yarn做资源管理的集群上如何监控一个MapReduce程序。一、概述 当我们执行一个MapReduceJob,或是执行一个Hive SQL(MapReduce为引擎),又或是Sqoop后,程序被提交给了集群。对于开发、测试集群运行程序的开发人员来说,刚刚接触MapReduce的初学者往往是在命令行前等着...原创 2018-06-27 09:41:13 · 1303 阅读 · 0 评论 -
MapReduce over HBase Snapshot
背景 工作中有很多使用HBase作为批处理源和目标的场景。之前已经做过很多优化措施,基本原则就是减少对RegionServer的影响,特别是降低RegionServer GC的时间,比如写入时先写HFile再BulkLoad、使用Filter尽量只读取需要的行和列、使用G1GC等等。但是读取HBase表数据要通过RegionServer的堆,在大批量处理的程序中可能会带来长时间GC...原创 2018-11-26 15:32:52 · 751 阅读 · 0 评论