大数据篇（1）--简介

1.Hadoop的由来!

                 Hadoop之父Doug Cutting

                                                  

             

                 1. Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

                2. 2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。

                              ——分布式文件系统（GFS），可用于处理海量网页的存储

                              ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。

                              ——分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。

                 3. Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。

为什么叫Hadoop?  Logo为什么是黄色的大象？

                     狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）

                     广义上来说，Hadoop指代大数据的一个生态圈（Hadoop生态圈），包括很多其他的软件。

                                    

2.Hadoop的框架模型（1.