大数据技术之Hadoop（入门）

1.什么是Hadoop？

1. HADOOP是apache旗下的一套分布式系统基础架构
2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理
3. HADOOP的核心组件有 ：

• HDFS（分布式文件系统）Hadoop distributed File System
• YARN（运算资源调度系统）
• MAPREDUCE（分布式运算编程框架）

     4.广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

2.Hadoop的优点包括：

1. 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2. 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3. 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4. 高容错性：能够自动将失败的任务重新分配。

3.HDFS的概念和特性

首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；

1. 重要特性如下：

1.HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M

2.HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

3.目录结构及文件分块信息(元数据)的管理由namenode节点承担——namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

4.文件的各个block的存储管理由datanode节点承担---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

5.HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改

4.MapReduce

 1. MapReduce定义

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

2 MapReduce优缺点

 2.1 优点

    1．MapReduce 易于编程

    它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的        PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是      因为这个特点使得MapReduce编程变得非常流行。

    2．良好的扩展性

    当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

   3．高容错性

   MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错         性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这       个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。

   4．适合PB级以上海量数据的离线处理

   它适合离线处理而不适合在线处理。比如像毫秒级别的返回一个结果，MapReduce很难做到。

2.2 缺点

MapReduce不擅长做实时计算、流式计算、DAG（有向图）计算。

3.MapReduce核心思想

在MapReduce整个过程可以概括为以下过程：

输入 --> map --> shuffle --> reduce -->输出

流程说明如下：

1、输入文件分片，每一片都由一个MapTask来处理

2、Map输出的中间结果会先放在内存缓冲区中，这个缓冲区的大小默认是100M，当缓冲区中的内容达到80%时（80M）会将缓冲区的内容写到磁盘上。也就是说，一个map会输出一个或者多个这样的文件，如果一个map输出的全部内容没有超过限制，那么最终也会发生这个写磁盘的操作，只不过是写几次的问题。

3、从缓冲区写到磁盘的时候，会进行分区并排序，分区指的是某个key应该进入到哪个分区，同一分区中的key会进行排序，如果定义了Combiner的话，也会进行combine(合并)操作

4、如果一个map产生的中间结果存放到多个文件，那么这些文件最终会合并（mergeon）成一个文件，这个合并过程不会改变分区数量，只会减少文件数量。例如，假设分了3个区，4个文件，那么最终会合并成1个文件，3个区

5、以上只是一个map的输出，接下来进入reduce阶段

6、每个reducer对应一个ReduceTask，在真正开始reduce之前，先要从分区中抓取数据

7、相同的分区的数据会进入同一个reduce。这一步中会从所有map输出中抓取某一分区的数据，在抓取的过程中伴随着排序、合并。

8、reduce输出：

1）.分布式的运算程序往往需要分成至少2个阶段。

2）.第一个阶段的maptask并发实例，完全并行运行，互不相干。

3）.第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。

1. 4）.MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程序，串行运行。

3. MapReduce进程

一个完整的mapreduce程序在分布式运行时有三类实例进程：

1）MrAppMaster：负责整个程序的过程调度及状态协调。

2）MapTask：负责map阶段的整个数据处理流程。

3）ReduceTask：负责reduce阶段的整个数据处理流程。