HADOOP1.0简介

        Hadoop最早起源于Nutch。Nutch是一个开源的网络搜索引擎，由Doug Cutting于2002年创建。Nutch的设计目标是创建一个大型的全网搜索引擎，但随着网页数量的增加，遇到了严重的可扩展性问题，即不能解决数十亿网页的存储和索引问题。之后，谷歌发表的两篇论文为该问题提供了可行的解决方案。

        一篇是2003年发表的关于谷歌分布式文件系统（GFS Google File System）的论文。该论文描述了谷歌搜索引擎网页相关数据的存储架构，该架构可解决Nutch遇到的网页抓取和索引过程中产生的超大文件存储需求的问题。但由于谷歌仅开源了思想而未开源代码，Nutch项目组便根据论文完成了一个开源实现，即Nutch的分布式文件系统（NDFS）。

        另一篇是2004年发表的关于谷歌分布式计算框架MapReduce的论文。该论文描述了谷歌内部最重要的分布式计算框架MapReduce的设计艺术，该框架可用于处理海量网页的索引问题。同样，由于谷歌未开源代码，Nutch的开发人员完成了一个开源的实现。由于NDFS和MapReduce不仅适用于搜索领域，2006年年初，开发人员便将其移出Nutch，成为Lucene的一个子项目，称为Hadoop。同年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。2008年1月，Hadoop成为Apache顶级项目，迎来了它的快速发展期。

       HDFS和MapReduce是Hadoop的框架最核心的两个技术。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。

      它主要有以下几个优点：

1. 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2. 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
3. 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
4. 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5. 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

学习网址：

Ubuntu 13.04上搭建Hadoop环境 Ubuntu 13.04上搭建Hadoop环境_服务器应用_Linux公社-Linux系统门户网站

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 Ubuntu 12.10 +Hadoop 1.2.1版本集群配置_服务器应用_Linux公社-Linux系统门户网站

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式） Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）_服务器应用_Linux公社-Linux系统门户网站

Ubuntu下Hadoop环境的配置 Ubuntu下Hadoop环境的配置_服务器应用_Linux公社-Linux系统门户网站

单机版搭建Hadoop环境图文教程详解 单机版搭建Hadoop环境图文教程详解_服务器应用_Linux公社-Linux系统门户网站

hadoop官网下载http://hadoop.apache.org/releases.html