- 博客(4)
- 收藏
- 关注
RSS订阅扩展MapReduce架构的一种尝试
[size=medium] 假设有这样一个游戏，一个人来出加减乘除的题目给很多小朋友来做，对每一个小朋友，给他出一道题目，然后让他算好后给你报告答案，你再给他出一道题目，周而复始如此。如果有十个小朋友在算，还可以欣赏小朋友抓耳挠腮的样子；如果有一百个小朋友，每个人都在争着表现，叫嚷着让出题，这个人肯定不堪重负；如果有成千上万个小朋友呢？这个人疯了。 面对这样...
2011-02-28 18:08:46
105
MapReduce: 提高MapReduce性能的七点建议[译]
[size=medium] Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人一样，找出关键的“症状”，对于不同的症状有不同的诊断和处理...
2011-02-22 15:28:30
2421
MapReduce: JT默认task scheduling策略
[size=medium] 如果没有自己定制的调度策略，MapReduce就采用自带的JobQueue策略分发task。这种基于FIFO的策略挺简单，能满足基本的业务需求，但缺点也很明显，如不能实现job的实时性、所有TT的执行能力对用户共享等问题。当然这些只是按以往理解来概括，只有了解具体实现后，才能总结它的影响。本篇blog会从task 分发的流程入手，详细描...
2011-02-19 16:30:14
142
MapReduce: Job提交过程
[i]初学Hadoop，准备用几篇日志来陈述MapReduce job的生命周期中job提交、task分发和task执行，以及JT scheduling策略，job性能参考等方面的知识。通过代码及参考资料想了解job执行的大致细节，期望在以后job性能调优时有所依据。与细节相关的代码参考于Hadoop-0.21.0版本。[/i] [size=medium] ...
2011-02-17 17:52:16
500
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人