为大数据爱好者量身定制的Hadoop教程

为大数据爱好者量身定制的Hadoop教程-学习Hadoop的最佳方式

####Hadoop

    提到大数据，网上搜索最多的关键词就是Hadoop。大家知道为什么吗？这是因为Hadoop是大数据中的主要框架，如果说框架可能会引起不少争论，那我们就说跟Hadoop最直接相关的东西在大数据里面占据了绝大部分江山。

    如果你关于大数据没有一点认知，那么在这里，通过一系列的教程你就将会撬开大数据的铜墙铁壁。

    Hadoop本身是一门技术的代名词——即以分散的方式在一系列低成本硬件上完成对海量数据的存储，这里的一系列低成本硬件联合组建的工作系统就是集群。

####什么是大数据？

    大数据通常指数据集非常大，同时也非常复杂，这不利于传统意义上的计算系统的存储和处理。

    数据量大，往往都在兆字节和拍字节的数量级，社交媒体可能是最大的海量数据供应商。

    数据处理速度要快，不同机构、组织等都需要实时完成数据的响应工作。

    数据多样性大，数据来源多种多样，有文本、音频、视频、图片等等。

####Hadoop的发明背景

    1.传统意义上的关系型数据库不能存储如此大量的数据，硬件成本和软件成本都太高了。

    2.对各种形式数据的处理需求——关系型数据库只能以结构化的形式完成数据的存储和执行，但是实际上需要处理的数据有时结构化的，也有是非结构化的以及半结构化的。

    3.需要应对高速的数据产生过程——传统意义上的关系型数据库不能完成对兆字节数量级数据的实时响应需求。

为大数据爱好者量身定制的Hadoop教程-学习Hadoop的最佳方式

#### Hadoop三大核心组件

    HDFS - 即Hadoop分布式文件系统的简称，是Hadoop的存储层。

    MapReduce - 是Hadoop的数据处理层。

    YARN - 是Hadoop的资源管理层。

#### HDFS

    HDFS满足主从拓扑结构，主节点往往为高性能服务器，从节点为低成本服务器。

    HDFS内部还存在NameNode和DataNode两个守护进程。

    整个数据分发流程为，原始大数据先被分块成许多小一点的数据块，这些小的数据块被分散存储在从节点组成的集群中，而这些跟数据相关的元数据就存储在主节点上。为了进行数据容错，需要进一步在集群内完成分布式的数据块复制。

#### NameNode

    NameNode守护进程运行在主节点服务器上，负责进行DataNode的维护、监控以及管理任务。

    同时负责进行文件元数据的纪录，比如纪录数据块的位置、文件大小、权限以及层次关系等。

    定期地接收DataNode的“汇报”。

#### DataNode

    DataNode守护进程运行在从节点服务器上，负责存储实际的业务数据。另外，用户对数据的读写请求也是由DataNode提供服务的。

    负责对来自NameNode节点的命令的响应，如数据创建、复制、删除等。

    默认是3秒左右，由DataNode向NameNode进行“汇报”。

为大数据爱好者量身定制的Hadoop教程-学习Hadoop的最佳方式

#### MapReduce

    Hadoop数据处理层分两个阶段完成数据处理——映射阶段（Map）和减量阶段（Reduce）。

    映射阶段——对数据进行业务逻辑处理，输入数据被转换成键-值对的形式。

    减量阶段——基于映射阶段的结果进行再处理，有相同键的多个数据项被聚合成新的数据项。

#### YARN

    Hadoop的资源管理层主要包含资源管理器、节点管理器以及任务发送器三大组件。

    YARN的基本思想是分开资源管理和任务调度这两大任务。

#### 资源管理器（RM）

    RM运行在主节点上，它清楚各个从节点的具体位置以及从节点自身资源情况。

    资源调度器（RS）是RM中最重要的服务之一，由它来决定各个任务应当如何分配资源。

    应用管理器（AM）是RM中另外一大重要服务，由它来协商应用的第一个容器（容器——简单的理解就是任务资源空间）。

    主节点对从节点的监听工作主要是由RM负责。

#### 节点管理器（NM）

    NM运行在从节点上，由它来管理容器，负责监控各个容器的资源使用情况。

#### 任务发送器（JS）

    任务发送的整个流程——客户端向资源管理器发送任务后，就由资源管理器触发资源调度器进行容器分配，再就由资源管理器触发相关的节点管理器完成容器的启动。

    应用控制器是在容器中运行的，每个应用都有一个应用控制器。一个应用可能是单独的一个任务，或者是任务的有向无环图。