初识Hadoop

一、Hadoop的提出

1.1、Hadoop的由来

如同其他技术一样，Hadoop的产生也是源于需要，那时Hadoop之父在做一个项目，尝试构建一个开源的Web搜索引擎，但无法做到有效地将计算任务分配到多台计算机上，后来Google发表了GFS和MapReduce的相关论文，他才有了解决办法。后来加入雅虎，他将那个项目的分布式计算模块剥离出来，将其称为“Hadoop”。

1.2、HDFS的建立思想

HDFS建立的思想是：一次写入，多次读取。

1.3、Mapreduce

数据打散分布到多台机器的多块硬盘上，为了保证数据的正确性和一致性，提出了Mapreduce。

二、Hadoop资源管理器

2.1、YARN

YARN是Hadoop2.0提出的资源管理层，用于集群资源管理调度和应用调度，使得多种计算框架可以运行在一个集群中。Yarn可以有效地提高资源的利用率。

2.2、架构

2.2.1、资源管理器（Resource Manager, RM）

每个集中都有一个RM的守护进程，专门负责集群中可用资源的分配和管理。

2.2.2、节点管理器（Node Manager，NM）

每个节点都有一个NM的守护进程，负责节点的本地资源管理。在RM中，NM代表本地节点。

2.2.3、Application Mater(AM)

每个应用都有一个 AM的守护进程，它封装了应用程序所有的 逻辑结构和依赖库信息。AM负责与RM进 行资源协商，并协同NM工作以完成应用的功能。

####2.2.4、容器（Contanier）

这是分配给具体应用的资 源的抽象形式。AM是一个启动和管理应用整个生命周期的特殊容器。

2.2.5、客户端（Client）

这是集群中能向RM提交应用的实例，并且提供了执行应用所需的AM 类型。

2.3、调度器

Hadoop资源管理的调度与操作系统的调度很类似，有三种调度方式：

2.3.1 、先进先出调度器（FIFO Scheduler）

FIFIO就是一个队列，先执行先到的任务，后来的在后面排队，直到执行完前面的任务，后面的才可以执行。

特点：这样的调度方式有点事简单，缺点就是会是等待时间过长。

2.3.2、容量调度器（Capacity Scheduler）

支持多个队列，每个队列可以配置一定的资源量，每个队列采用先进先出的调度策略。
具有的特性：层次化的队列、资源容量保证、安全性、弹性、可操作性、基于资源的调度。

2.3.3、公平调度器（Fair Scheduler）

在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源，如下图，当地一个大job提交时，只有这一个job在运行，此时它获得了所有的集群资源；当第二个小job提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。

三、Hadoop分布式计算框架MapReduce

MapReduce源自于Google的Mapreduce论文，Hadoop Mapreduce是Google Mapreduce的克隆。

3.1、 Mapreduce的特点：

1、良好的扩展性

2、高容错性

3、适合PB级及海量数据的离线处理。

3.2、为什么需要MapReduce

3.2.1、并行计算技术和并行程序设计的复杂性

依赖于不同类型的计算问题、数据特征、计算要求、和系统构架，并行计算技术较为复杂,程序设计需要考虑数据划分，计算任务和算法划分，数据访问和通信同步控制,软件开发难度大,难以找到统一和易于使用的计算框架和编程模型与工具。

3.2.2、海量数据处理需要有效的并行处理技术

海量数据处理时，依靠MPI等并行处理了技术难以奏效。

3.2.3、MapReduce是面向海量数据处理比较成功的技术

MapReduce是目前业界和学界公认的最为有效和最易于使用的海量数据并行处理技术。

3.3、Mapreduce的工作流程

四、Hadoop分布式文件系统（HDFS）

4.1、概念

Hadoop分布式文件系统看起来就像一个普通的Linux文件系统，有目录、目录下可以存储文件。但它是分布式的。

4.2、基本原理

1、将文件切分成等大的数据块，分别存储到多台机器上。

2、每个数据块存在多个备份。

3、将数据切分、容错、负载均衡等功能透明化。

4、可将HDFS看成一个巨大的、具有容错性的磁盘。

4.3、特点

4.3.1、优点

1、处理超大文件

2、流式的访问数据

3、运行于廉价的商用机器集群上

4.3.2、缺点

1、不适合存储大量小文件

2、不适合低延迟数据访问

3、不支持多用户写入及任意修改文件（HDFS支持随机读，不支持随即写）

4.4、HDFS实现原理（重点）

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个nameNode（管理者），多个dataNode（工作者）

4.4.1 、NameNode

nameNode是HDFS架构中的主节点

功能：

1、管理各个从节点的状态(DataNode)。

2、记录存储在HDFS上的所有数据的元数据信息。例如：block存储的位置，文件大小，文件权限， 文件层级等等。这些信息以两个文件形式永久保存在本地磁盘上。

命名空间镜像文件(FsImage): fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录 了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息 。

**编辑日志(edit-logs)文件:**保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如： 增加文件、重命名文件、删除目录等等。

3、记录了存储在HDFS上文件的所有变化，例如文件被删除，Namenode会记录到editlog中。

4、接受DataNode的心跳和各个Datanode上的block报告信息，确保DataNode是否存活。

5、负责处理所有块的复制因子。

6、如果DataNode节点宕机，NameNode会选择另外一个DataNode均衡复制因子，并做负载均衡。

4.4.2、Secondary NameNode

SNameNode是NameNode的助手，不要将其理解成是NameNode的备份。Secondary NameNode 的整个目的在HDFS中提供一个Checkpoint Node，所以也被叫做checkpoint node。

功能：

1、定时的从NameNode获取EditLogs,并更新到FsImage上。

2、一旦它有新的fsimage文件，它将其拷贝回NameNode上，NameNode在下次重启时会使用这 个新的fsimage文件，从而减少重启的时间。

4.4.3、 DataNode

DataNode是HDFS架构的从节点，管理各自节点的Block信息。

功能：

1、多个数据实际是存储到DataNode上面。

2、DataNode分别运行在独立的节点上。

3、DataNode执行客户端级别的读写请求。

4、向NameNode发送心跳(默认是3s)，报告各自节点的健康状况。如果出问题，NameNode负责将该DataNode上的数据复制到另一个DataNode上，确保安全。（默认是每份数据都有三份备份）。

4.4.4、数据块

每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。构建于单个磁盘之 上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍。

HDFS 同样也有块 (block) 的概念，但是大得多，默认为 128 MB 。与单一磁盘上的文件系统相似， HDFS上的文件也被划分为块大小的多个分块 (chunk) ，作为独立的存储单元。但与其他 文件系统不同的是， HDFS中小于一个块大小的文件不会占据整个块的空间。所以HDFS块的大小不一定是磁盘块的整数倍。

优点：

1、一个大文件不用存储于整块磁盘上，可以分布式存储。

2、使用块抽象而非整个文件作为存储单元，大大简化了存储子系统的设计。这对于故障种类繁 多的分布式系统尤为重要。

4.4.5、机架感知

分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好 几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机 器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。

五、HDFS读写流程（重点）

5.1、写数据

第一步，client按照block的大小将数据拆分，例如，设我们有一个example.txt的文件，大小为248M。要将其写入到HDFS中。 假设我们使用HDFS设置的块大小为128M(默认值)。那么client会将此文件拆分成两个块。 第一个块是120MB(BlOCK A),第二个块是120MB(BLOCK B)。

第二步，client请求NameNode，要将多个块写入到HDFS，NameNode给client赋予写权限，并为client提供可以写入数据的DataNode的IP地址，加入赋值因子是3，那么会为每个block返回三个IP地址。

例如：

第三步， 建立流水线。在写入数据之前，client首先要确认NameNode提供的ip列表是否准备好了接受数据，Client通过连接各个块的ip列表来为每个块创建流水线。

第四步，数据复制。流水线建立好只有，client将会向流水线中写入数据。

注意：Client只会将blockA在DN1复制。其他节点复制是在DN 之间完成的。

第五步，关闭流水线。当数据复制到所有的DN完成之后，按照ip地址列表相反的方向，依次反馈写入成功的信息。DN1将确认信息反馈给client， client再将确认信息反馈给NN， NN更新元数据信息，client关闭pipline。

5.2、多个Block同时写入

Block A和Block B的写入是并行进行的。

• Block A:1A->2A->3A

• Block B:1B->2B->3B->4B->5B->6B

5.3、文件读取

第一步，Client请求NameNode要读取example.txt文件

第二步，NN根据自己的元数据信息反馈给client一个DataNode的列表（存储BlockA 和BlockB）

第三步，Client连接DN，读取BlockA，BlockB的数据

第四步，Client合并BlockA和BlockB的数据