类似google存储架构的开源项目: Hadoop

 

       Hadoop 是 开源项目Nutch和Lucene的开创者Doug Cutting的又一精品，引起了开发社区的广泛关注，其中包括Yahoo。Yahoo甚至全职雇佣创始人在Hadoop上继续工作。盛顿大学也开始了一 个以Hadoop为基础的分布式计算的课程，课程相关的材料也已发布在Google Code(http://code.google.com/edu/content/parallel.html)了，以满足那些对这项技术感兴趣的开发者们。

        Hadoop是一个软件平台，可以让你很容易地开发和运行处理海量数据的应用......Hadoop是MapReduce 的实现，它使用了Hadoop分布式文件系统（HDFS）。MapReduce将应用切分为许多小任务块去执行。出于保证可靠性的考虑，HDFS会为数据 块创建多个副本，并放置在群的计算节点中，MapReduce就在数据副本存放的地方进行处理......

         随着web2.0网站的如春笋般出现，很多公司面临来自存储方面的压力。没有几家公司可以像youtube那样幸运，被google收购，使用 google的bigtable。于是这些公司只能掏巨资购买大量的服务器，或购买专门的存储硬件，或者依靠第三方的存储方案，比如Amazon的 s3.  现在Hadoop提供解决类似需求的另一条路。

        Hadoop 的官方网站是 http://lucene.apache.org/hadoop/。估计由于创始人的关系，项目放在了lucene官方网站的一个目录里。详细这样的网址会对Hadoop的推广大有裨益。 

        当然也有项目的反对者。微软的Sriram Krishnan则从那些 转到类似Hadoop和Amazon EC2这种针对大规模应用并在不断发展的解决方案的创业者和开发人员所面对的问题的角度，对Hadoop提出了反对意见：

       Web 2.0的主要价值来自于由众多用户生成的数据，如del.ico.us、Digg、Facebook......它已经超越了任何个人运行大规模的服务器 软件的商 业意义，如Gmail、Google Search、Live、Y! Search......放荡不羁的极客们根本就不会去碰那些大规模blob存储（S3，Google文件系统），大规模结构化存储(Google的 Bigtable），还有在这种微架构之上运行代码的工具（MapReduct，Dryad）等等......我也不知道Doug Cutting的这种类似的开源产物在这条路上已经走了多远----也许这就是答案吧......
       

Hadoop和yahoo的合作会是一个双赢的结果，因为Yahoo! 给了Hadoop一个机会进行规模方面的测试......