Hadoop概述

Hadoop概述

一.概念

1.hadoop是什么

• hadoop是一个由Apache基金会开发的分布式系统架构
• 主要解决，海量数据的存储和海量数据的分析问题
• Hadoop通常是指一个更广泛的概念——Hadoop生态圈

2.Hadoop发展历史

• Hadoop创始人Doug Cutting，为了实现类似于Google类似的全文搜索，在Lucene框架的基础上进行了优化升级，查询引擎和索引引擎。
• 2001年年底Lucene成为Apache基金会的一个子项目
• 对于海量数据的场景，Lucene面对与Google同样的问题，存储海量数据困难，检索数据速度慢
• 学习和模仿Google解决这些问题的方法：微型版Nutch
• 可以说Google是Hadoop的思想之源（google在大数据方面的三篇论文）

​ GFS–>HDFS

​ Map-Reduce -->MR

​ BigTable --> HBase

• 2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础的Doug Cutting等人用2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升
• 2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会
• 2006年3月份，MapReduce和NDFS（Nutch Distributed File System）分别被纳入到Hadoop项目中。Hadoop就此产生，标志着大数据时代的到来

3.Hadoop三大发行版本

Hadoop三大发行版本：Apache，Cloudera，Hortonworks。

Apache版本最原始的版本，对于入门学习最好。2006

Cloudera内部集成了很多大数据框架，对应的产品CDH。2008

Hortonworks文档较好，对应的产品HDP。2011

Hortonworks现在以及被Cloudera公司收购，推出新的品牌CDP

Apache Hadoop

官网地址：http://hadoop.apache.org

下载地址：https://hadoop.apache.org/releases.html

Cloudera Hadoop

官网地址：https://www.cloudera.com/downloads/cdh

下载地址：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点****10000美元****。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/

下载地址：https://hortonworks.com/downloads/#data-platform

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了****Ambari****，一款开源的安装和管理系统。

（4）2018年Hortonworks目前被Cloudera公司收购。

4.Hadoop优势

1. 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出线故障，也不会导致数据丢失。
2. 高扩展性：在集群间分配任务数据，可以方便扩展数以千计的节点。
3. 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度
4. 高容错：能够自动将失败的任务重新分配

5.Hadoop的组成

​ 在hadoop1.X时代Hadoop中的MapReduce同时处理业务逻辑运算的资源的调度，耦合度大。

​ 在Hadoop2.X时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

1.5.1 HDFS架构概述

Hadoop Distributed File System ,简称HDFS，是一个分布式文件系统。

1. NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块地址和块所在的DataNode。
2. DataNode（dn）：在本地文件系统存储文件块数据，以及快数据的校验和。
3. Secondary NameNode（2nn）：每个一段时间对NameNode元数据备份。

1.5.2 YARN架构概述

Yet Another Resource Negotiate 简称YARN，另一种资源协调者，是Hadoop的资源管理器。

1. ResourceManager（RM）：整个集群资源的老大
2. NodeManager（NM）:单个节点服务器的老大
3. ApplicationMaster：单个任务运行的老大
4. Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源
   

客户端可以有多个

集群上可以运行多个Application Master

每个NodeManager可以有多个Container

1.5.3 MapReduce架构概述

MapReduce将计算结果分为两个阶段：Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map的结果进行汇总

1.5.4 HDFS,YARN,MapReduce三者的关系