大数据笔记00--大数据的历史

三驾马车

GFS

Google File System，GFS是谷歌的一个分布式文件系统，用来存储大量的较大文件，它可以在廉价的硬件上实现存储文件，并具有良好的容错性
由此思想后来诞生了HDFS

MapReduce

MapReduce是一个分布式计算框架。它通过map函数把基于行的输入转化成不同的键值对，再通过reduce函数把这些键值对针对相同的键进行聚合，并在聚合的过程中进行相应的计算
由此思想诞生了如今的MapReduce

BigTable

Bigtable是一个可以管理结构化数据的分布式存储系统，它本身支持水平的横向扩展，通过使用成千上万的连接服务器，来支持PB量级的数据处理
由此思想诞生了Hbase等

Hadoop简介

Hadoop作者Doug cutting，就职Yahoo期间开发了Hadoop项目，目前在Cloudera 公司从事架构工作。
Hadoop名字来源于Doug Cutting儿子的玩具大象。
2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，一个微缩版：Nutch
Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。
2006 年 3 月份，Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目

---

待完善