1 Hadoop是什么
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2)主要解决,海量数据的存储
和海量数据的分析计算
问题。
3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈
。
2 Hadoop 发展历史(了解)
1)Hadoop创始人Doug Cutting
,为 了实 现与Google类似的全文搜索功能,他在Lucene框架基础上进行优
化升级,查询引擎和索引引擎。
2)2001年年底Lucene成为Apache基金会的一个子项目。
3)对于海量数据的场景,Lucene框 架面 对与Google同样的困难,存 储海量数据困难,检 索海 量速度慢。
4)学习和模仿Google解决这些问题的办法 :微型版Nutch。
5)可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
- GFS —>HDFS
- Map-Reduce —>MR
- BigTable —>