Hadoop
文章平均质量分 81
shiji-hz
这个作者很懒,什么都没留下…
展开
-
hadoop hbase metric名全解释
原di'z系统参数监控metricsload_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间,精确到秒bytes_in转载 2014-04-08 11:20:51 · 622 阅读 · 0 评论 -
HBase MapReduce与Speculative Task
zhuan'zaiSpeculative Task(推测式任务)是mapreduce框架中一个比较重要的优化策略。当某个server某个时间段处于忙碌状态而无法快速完成某个task(当然也可能是server本身性能低下),从而拖延了整个job的完成进度,此时若启用Speculative Task策略,jobtacker会为执行慢的task启动speculative task,多转载 2014-04-14 11:10:04 · 489 阅读 · 0 评论 -
Hadoop作业JVM堆大小设置优化
作者:过往记忆 | 新浪微博:左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址:http://www.iteblog.com/文章标题:《Hadoop作业JVM堆大小设置优化》本文链接:http://www.iteblog.com/archives/981Hadoop、Hive、Hbase、Flume等QQ交流群:13861535转载 2014-04-14 11:22:15 · 965 阅读 · 0 评论 -
Hadoop Job Tuning
转载自:Hadoop平台已经成为了大多数公司的分布式数据处理平台,随着数据规模的越来越大,对集群的压力也越来越大,集群的每个节点负担自然就会加重,而且集群内部的网络带宽有限,数据交换吞吐量也在面临考验,由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发,针对Hadoop Job优化提出了一些观点,不包含HDFS的优化。Job Tracker Re转载 2014-04-14 11:25:11 · 352 阅读 · 0 评论