1、Hadoop 是什么
1)Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构
分布式表示把一件大事拆分成小事去处理 基础架构表示这是其它框架的基础
2)主要解决,海量数据的存储和海量数据的分析计算问题。(hdfs\mapreduce)
3)广义上来说,HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈
上图就是服务器
2、Hadoop 发展历史
1)Lucene-->Doug Cutting 开创的开源软件,用 java 书写代码,实现与 Google 类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎
了解搜索框架
2)2001年年底Lucene成为apache基金会的一个子项目
3)对于大数量的场景,Lucene 面对与 Google 同样的困难(海量检索和存储)
4)学习和模仿 Google 解决这些问题的办法 :微型版 Nutch
5)可以说Google 是 hadoop 的思想之源(Google 在大数据方面的三篇论文)
GFS(google file system) --->HDFS
Map-Reduce --->MR
BigTable --->Hbase
6)2003-2004 年,Google 公开了部分GFS 和Mapreduce 思想的细节,以此为基础 Doug