大数据之Hadoop图解概述

开始更新Hadoop系列教学文章了，从零带你入门大数据，期待的你的关注❤️❤️

1 Hadoop是什么

=============================================================================

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2）主要解决，海量数据的存储和海量数据的分析计算问题。

3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

2 Hadoop 发展历史（了解）

===================================================================================

1）Hadoop创始人Doug Cutting，为 了实 现与Google类似的全文搜索功能，他在Lucene框架基础上进行优

化升级，查询引擎和索引引擎。

2）2001年年底Lucene成为Apache基金会的一个子项目。

3）对于海量数据的场景，Lucene框 架面 对与Google同样的困难，存 储海量数据困难，检 索海 量速度慢。

4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。

5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）

• GFS —>HDFS

• Map-Reduce —>MR

• BigTable —>HBas

6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用

了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。

7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。

8）2006 年 3 月份，Map-Reduce和Nutch Distributed File System （NDFS）分别被纳入到 Hadoop 项目

中，Hadoop就此正式诞生，标志着大数据时代来临。

9）名字来源于Doug Cutting儿子的玩具大象

Hadoop的log

3 Hadoop 三大发行版本（了解）

=====================================================================================

Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。

• Apache 版本最原始（最基础）的版本，对于入门学习最好。2006

• Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008

• Hortonworks 文档较好，对应产品 HDP。2011

• Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP。

①Apache Hadoop（常用）

---

官网地址：http://hadoop.apache.org

下载地址：https://hadoop.apache.org/releases.html

②Cloudera Hadoop

---

官网地址：https://www.cloudera.com/downloads/cdh

下载地址：https://docs.cloudera.com/documentation/enterprise/6/releasenotes/topics/rg_cdh_6_download.html

1）2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的

商用解决方案，主要是包括支持、咨询服务、培训。

2）2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主

要为 CDH，Cloudera Manager，Cloudera Support

3）CDH 是 Cloudera 的 Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安

全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。

4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一

个 Hadoop 集群，并对集群的节点及服务进行实时监控。

③Hortonworks Hadoop

---

官网地址：https://hortonworks.com/products/data-center/hdp/

下载地址：https://hortonworks.com/downloads/#data-platform

1）2011 年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。

2）公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师，上述

工程师均在 2005 年开始协助雅虎开发 Hadoop，贡献了 Hadoop80%的代码。

3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 100%开

源的产品，HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统。

4）2018 年 Hortonworks 目前已经被 Cloudera 公司收购

4 Hadoop 优势（4 高）

==================================================================================

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

4）高容错性：能够自动将失败的任务重新分配。

5 Hadoop 组成（面试重点）

===================================================================================

• 在 Hadoop1.x 时 代 ，Hadoop中 的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。

• 在Hadoop2.x 时代，增加 了Yarn。Yarn只负责资源的调 度 ，MapReduce 只负责运算。

• 在Hadoop3.x 时代，在组成上没有变化。

5.1 HDFS 架构概述

---

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

HDFS架构概述：

1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

最后

由于篇幅原因，就不多做展示了
链图片转存中…(img-hNX9TdTy-1720099826574)]

[外链图片转存中…(img-GW3b0AGv-1720099826575)]

[外链图片转存中…(img-sVhg8Zeq-1720099826576)]

[外链图片转存中…(img-KafD1lzh-1720099826576)]

[外链图片转存中…(img-USUNnCLF-1720099826576)]

[外链图片转存中…(img-TB1poMyd-1720099826577)]

由于篇幅原因，就不多做展示了