Hadoop（一）——hadoop框架简介

摘要（参考资料来源网络）

hadoop的网络上有很多相关的资料，这里简单介绍一下

一、什么是hadoop

1. Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2. 主要解决，海量数据的__存储__和海量数据的__分析计算__问题。
3. 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

二、hadoop的发展史

1. Lucene--Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎
2. 2001年年底成为apache基金会的一个子项目
3. 对于大数量的场景，Lucene面对与Google同样的困难
4. 学习和模仿Google解决这些问题的办法 ：微型版Nutch
5. 可以说Google是hadoop的思想之源(Google在大数据方面的三篇论文) GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase
6. 2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升
7. 2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中
8. 名字来源于Doug Cutting儿子的玩具大象
9. Hadoop就