Hadoop初探

Hadoop是Yahoo发起的一个开源分布式计算工具，大概起于2006年，最新版本为0.20版，但已经很流行了，这足以见得现在的IT届新技术发展是多么地迅猛，开源技术尤甚。不过整个计算机科学也才四十多年历史，整个理论体系离完善还很遥远，所以我辈也不用太自卑（怎么那些家伙这么厉害？），专注与自己的技术路线即可。这好像和Hadoop没啥关系，扯远了。。。

 

Hadoop主要包括一个分布式文件管理系统HDFS（GPS的一个轻量级实现），以及Map/Reduce（函数式编程）部分。目的主要用来海量数据的处理。

 

关注Hadoop也有几个月时间了，但一直没太大的进展，还处于一些文档的阅读和单机的实验。最近准备花点时间读读它的源代码，特别是那个分布式文件管理系统。以前研究过一段时间网格计算，但主要用Globus，所以分布式系统的实现还不甚了解，这次要好好整整。。。

 

Hadoop关联的项目，如Chukwa，HBase，Hive等应该也有点意思。。。

 

链接：

http://hadoop.apache.org/core/（项目负责人：Doug Cutting）

http://www.hadoop.org.cn/（搞过两次Hadoop沙龙，2009年没怎么更新，学生办的？）

http://cn.hadoop.org/ （Hadoop中文研究院 (群号：12934057) 研究Hadoop,MapReduce,HBase的中文社区，欢迎投稿！！！ ）

http://www.hadoop.tw/

阿里ASC也有个网站，不过好像09年也没怎么更新。。。