Hadoop学习笔记-Hadoop的发展历史

1. Hadoop大事记
   
2. 三驾马车
   大数据的产生和发展离不开谷歌的三篇论文，Google File System(GFS)、MapReduce和BigTable。其中前两篇论文就孵化出了Haoop的两大基本组件——HDFS和MapReduce编程模型。在谷歌发布GFS的时候，该文件系统已经稳定的运行在上千台机器上了。这三篇论文如今被称为大数据的三驾马车。
3. 会飞的大象
   
   2004年，Doug Cutting开始基于Google的三篇论文开发Hadoop，Hadoop是一个虚构的名字，来源是Doug Cutting儿子有一个大象玩偶，名字就叫做Hadoop，所以后来Hadoop的logo也是一只大象。
   
   Cutting 接受了当时 Yahoo! 搜索项目负责人 Raymie Stata 的邀请，于 2006 年正式加入 Yahoo!。在 Yahoo!，有一支一百人的团队帮助他完善 Hadoop 项目，这期间开发工作进行得卓有成效。 不久之后，Yahoo! 就宣布，将其旗下的搜索业务的架构迁移到 Hadoop 上来。两年后，Yahoo! 便基于 Hadoop 启动了第一个应用项目 “webmap”——一个用来计算网页间链接关系的算法。Cutting 的时任上司（后为 Hortonworks CEO）Eric Baldeschwieler 曾说：“在相同的硬件环境下，基于 Hadoop 的 webmap 的反应速度是之前系统的 33 倍。”
4. 商用的开始
   Hadoop开始商用，是在Cutting跳槽到Cloudera之后，Cloudera 是一个为那些在咨询和技术上有需求的公司提供服务的平台。它的客户大多来自于传统行业，希望通过 Hadoop 来处理之前只能被直接抛弃的大规模数据。该公司推出的CDH是Hadoop发型版本中的一个。包含了ApacheHadoop。
   如今在许多公司的技术架构中，都已经能看到Hadoop的身影，成为了大数据生态的核心。围绕它已经发展出Hive、HBase、Spark等许多优秀的开源框架。