三驾马车
GFS
Google File System,GFS是谷歌的一个分布式文件系统,用来存储大量的较大文件,它可以在廉价的硬件上实现存储文件,并具有良好的容错性
由此思想后来诞生了HDFS
MapReduce
MapReduce是一个分布式计算框架。它通过map函数把基于行的输入转化成不同的键值对,再通过reduce函数把这些键值对针对相同的键进行聚合,并在聚合的过程中进行相应的计算
由此思想诞生了如今的MapReduce
BigTable
Bigtable是一个可以管理结构化数据的分布式存储系统,它本身支持水平的横向扩展,通过使用成千上万的连接服务器,来支持PB量级的数据处理
由此思想诞生了Hbase等
Hadoop简介
Hadoop作者Doug cutting,就职Yahoo期间开发了Hadoop项目,目前在Cloudera 公司从事架构工作。
Hadoop名字来源于Doug Cutting儿子的玩具大象。
2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,一个微缩版:Nutch
Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。
2006 年 3 月份,Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目
待完善