（注：本文只是简简单单的截几幅图而已，要想更深入的学习和了解hadoop框架和mapreduce模式，或者对淘宝的数据魔方感兴趣的话，尽可参考此文：从Hadhoop框架与MapReduce模式中谈海量数据处理。）    最近对海量数据处理发生了不小的兴趣，特此从一些精彩文章中摘取几幅精彩的图片或片段，拿来给大家分享。所谓奇文共欣赏，好Architecture共品之。至于各位能从图中是窥得半点经

作者：江南白衣，原文出处： http://blog.csdn.net/calvinxiu/archive/2007/01/31/1498597.aspx，转载请保留出处。   如果说Google的搜索引擎是免费的早餐，Gmail们是免费的午餐的话，    http://labs.google.com/papers/ 就是Google给开发人员们的一份免费的晚餐。    不过，咋看着

2011年即将过去，是该对这即将过去的这一年做一个总结，这么一个标题如何去确定其实是很难的，而且也可能会比较片面。那么什么叫做“重要”呢，什么样的开源软件算是“重要”呢？首先，并不是使用的人多就算是“重要”，否则每一年选出来的项目估计都差不多。所以要判断一个开源软件是否重要，首先要有影响力，以及或者在某个新领域的佼佼者。换句话说，重要的项目必须引起大家更多的关注。依据这么一个判别条件，我们挑出

作者：江南白衣    Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。    Nutch 0.8 完全使用Hadoop重写了骨干代码，另外很多地方作了合理化修正，非常值得升级。1.Nutch 0.8 的安装与运行nutch

从hadoop框架与MapReduce模式中谈海量数据处理前言    几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。    由此，最近凡是空闲时，便在看

谈到Hadoop应用，如果仅将目光集中在为搜索引擎提供动力或者为广告服提供用户行为分析的平台上，那么显然有所局限。本文提供了搜索以及广告分析以外的10个应用领域，和在这些领域中通过使用Hadoop而获得成功的多家创新型企业。也许相比互联网巨头并不知名，但却代表了Hadoop的生命力——在行业端商务领域的新拓展方向。Hadoop12个典型应用领域最近，在Hadoop最新版本的发布会上，C

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或