hadoop分布式计算相关技术
文章平均质量分 62
WentaoMa
体验 分享 成长 感受生命的分秒
展开
-
Facebook : Corona的Reduce延时启动
在MR的计算模型中,过早启动Reduce,reduce会空等map的完成,这是资源浪费,这个资源完全可以用来执行真正需要执行的任务。Corona的实现中,同样考虑了Reduce的延时启动。主要是下面三个单数来进行判断:# 当前job的最小map门限,如果一个job的未执行完毕的map数达到这个门限,则开始reduce的启动public static final String RUSH_原创 2013-07-01 10:25:46 · 1155 阅读 · 0 评论 -
Facebook : Corona中的推测执行
大任务通常有成百上千个task,在任务即将执行完成时,总有几个task会拖后腿,corona的实现中,也考虑了备份执行,对执行慢的任务,启动一个他的clone,谁先执行完,kill掉另外一个。 首先计算门限,后续判断是否达到门限 SPECULATIVE_SLOWTASK_THRESHOLD = "mapreduce.job.speculative.slowtaskthres原创 2013-07-30 18:12:50 · 1339 阅读 · 0 评论 -
转:分布式日志分析系统:Dapper
转载出处:http://bigbully.github.io/Dapper-translation/ 同时看到了 淘宝的日志分析系统:鹰眼 ,CSDN上收PPT概述当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,转载 2013-08-12 11:38:45 · 4071 阅读 · 0 评论 -
hadoop datanode 启动失败,没有任何报错的解决
datanode的log日志仅有如下信息,没有报错,但是进程没有起来:2013-11-25 09:57:01,466 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:/************************************************************STARTUP_MSG:原创 2013-11-25 16:53:12 · 2557 阅读 · 0 评论 -
一台机器安装多套hadoop环境 端口冲突的解决
一台机器安装多套hadoop环境 端口冲突到解决原创 2014-03-19 19:43:33 · 3138 阅读 · 0 评论 -
HDFS2.0 NameNode HA 切换失败后的恢复(元数据写坏)(2014.10.1编辑)
在测试 HDFS2.0 的 NameNode HA 的时候,并发put 700M的文件,然后 Kill 主 NN ;发现备 NN 切换后进程退出。尝试了多种方法终于恢复,原因还在分析中。原创 2014-09-10 10:17:01 · 7721 阅读 · 0 评论