目录
概述
定义
Hadoop GitHub地址 GitHub - apache/hadoop: Apache Hadoop
Hadoop 文档地址 Hadoop – Apache Hadoop 3.3.4
Apache Hadoop是一个由 Apache 基金会所开发的分布式存储和计算的基础框架,使用简单的编程模型跨计算机集群分布式处理海量数据,也即是主要解决海量数据的存储和海量数据的分析计算问题。
Apache Hadoop可从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储,实现存储和计算高可用性;而从广义上来说, Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈。
发展历史
- Hadoop 创始人 Doug Cutting ,为了实现与 Google 类似的全文搜索功能,他在 Lucene 框架基础上进行优化升级,查询引擎和索引引擎。
- 2001 年年底 Lucene 成为 Apache 基金会的一个子项目。
- 对于海量数据的场景, Lucene 框架面对与 Google 同样的困难, 存储海量数据困难,检索海量速度慢 。
- 学习和模仿 Google 解决这些问题的办法 :微型版 Nutch 。
- 可以说 Google 是 Hadoop 的思想之源( Google 在大数据方面的三篇论文,GFS --->HDFS、Map-Reduce --->MR、BigTable --->HBase)。
- 2003-2004 年, Google 公开了部分 GFS 和 MapReduce 思想的细节,以此为基础 Doug Cutting 等人用了 2 年业余时间 实现了 DFS 和 MapReduce 机制,使 Nutch 性能飙升。
- 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。
- 2006 年 3 月份, Map-Reduce 和 Nutch Distributed File System ( NDFS )分别被