Hadoop 大事记 - 73

周六早早的到了站，于是在候车室看完了MapReduce部分的讲解。相比之前的HDFS部分，换了一个讲课的，风格变化比较大，而且没有HDFS讲的透彻，
一部分原因可能是MapReduce比较复杂。 所以通过其他途径去进一步了解MapReduce是必须的。

另外也看看Hadoop的各种花边新闻，看到这个出现才短短几年的产品，你不得不惊叹技术演变之快，所以追技术的显然活得不轻松。
来看看Hadoop的时间轴吧，感受一下科技的进步。

Hadoop 大事记
2004年             Doug Cutting 和 Mike Caferella实现了HDFS和MapReduce的初版
2005年12月       Nutch移植到新框架，Hadoop在20个节点上稳定运行
2006年1月        Doug Cutting加入雅虎
2006年2月        Apache Hadoop项目正式启动，支持MapReduce和HDFS独立发展
2006年2月        雅虎的网格计算团队采用Hadoop
2006年4月        在188个节点上（每个节点10GB）运行排序测试集需要47.9个小时
2006年5月        雅虎建立了300个节点的Hadoop研究集群
2006年5月        在500个节点上运行排序测试集需要42个小时（硬件比4月份的更好）
2006年11月      研究集群增加到600个节点
2006年12月      排序测试集在20个节点运行了1.8个小时，100个节点运行了3.3个小时，500个节点上运行了5.2个小时，900个节点上运行7.8个小时
2007年1月        研究集群增加到900个节点
2007年4月        研究集群增加到两个集群1000个节点
2008年4月        在900个节点上运行1TB排序测试集仅需209秒，成为全球最快
2008年10月     研究集群每天加载10TB的数据
2009年3月        17个集群共24000个节点
2009年4月       在每分钟排序中胜出，59秒排序500GB（在1400个节点上）和173分钟内排序100TB数据（在3400个节点上）

附图：

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/554557/viewspace-2130904/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/554557/viewspace-2130904/