Hadoop入门

你未必出类拔萃，但一定与众不同

Hadoop入门

Hadoop是一个Apache基金会所开发的分布式系统基础架构

主要解决 海量数据的存储和海量数据的分析计算问题

Hadoop的优势

• 高可靠性 Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失

• 高扩展性 在集群间分配任务数据，可方便的扩展数以千计的节点

• 高效性 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

• 高容错性 能够自动将失败的任务重新分配

MapReduce

为了充分使用Hadoop提供的并行处理优势，我们需要将查询表示成MapReduce作业

完成某种本地端的小规模测试之后，再把作业部署到集群上运行

MapReduce任务过程分为两个阶段，map 和 reduce 每阶段都以键值对作为输入和输出 其类型由程序员来选择，程序员还需要写两个函数：map函数和reduce函数。

map阶段的输入是NCDC原始数据。我们选择文本格式作为输入格式，将数据集的每一行作为文本输入，键是某一行起始位置相对于文件起始位置的偏移量。

Hadoop Distributed File System HDFS概述

简称HDFS 是一个分布式文件系统

1.NameNode 存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DataNode等

2.DataNode 在本地文件系统存储文件块数据以及块数据的校验和

3.Secondary NameNode 每隔一段时间对NameNode元数据备份

数据块

HDFS的数据块默认大小为128MB，与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块，作为独立的存储单元，但与磁盘上的文件系统不相同的是，HDFS中小于一个块大小的文件不会占据整个块的空间。

例如 一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB

namenode和datanode

HDFS 集群有两类节点以管理节点-工作节点模式运行，即一个namenode（管理节点）和多个datanode（工作节点）

namenode

• 管理文件系统的命名空间

• 维护者文件系统树以及整棵树内所有的文件和目录 这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件

• 记录每个文件中各个块所在的数据节点信息

客户端代表用户通过与namenode和datanode交互来访问整个文件夹系统

datanode

文件系统的工作节点，根据需要进行存储并且检索数据块，定期向namenode发送他们存储的块的列表

块缓存

通常datanode从磁盘读取块，但是对于经常访问的文件，其对应的块可能被显式地缓存在datanode的内存中，以堆外块的缓存形式存在，默认情况下一个块仅缓存在一个datanode内存中。

联邦HDFS

namenode在内存中保存文件系统中每个文件和每个数据块的引用关系，也就是说在大型集群环境下，内存将成为限制系统横向扩展的瓶颈

2.X发行版本中引入了联邦HDFS 允许系统通过添加namenode实现扩展，其中每个namenode管理文件系统命名空间的一部分，例如 一个namenode可能管理/user目录下所有文件，另一个可能管理/root下所有文件

在联邦环境下，每个namenode都维护一个命名空间卷，由命名空间的元数据和一个数据块组成，数据块包含该命名空间下文件的所有数据块，命名空间卷相互独立，两者之间并不通信。

YARN架构概述

YetAnother Resource Negotiator简称YARN 另一种资源协调者 是HadHoop的资源管理器

主要管理CPU和内存

• ResourceManager(RM) 整个集群资源的老大

• NodeManager (NM )单个节点服务器资源的老大

• ApplicationMaster(AM ) 单个任务运行的老大

• Container 容器 相当于一台独立的服务器

• 里面封装了任务运行需要的资源如内存 CPU 磁盘 网络等

• 集群上可以运行多个ApplicationMaster

• 每个NodeManager 上可以有多个Container

HDFS，YARN，MapReduce三者关系

大数据技术生态体系

图中涉及的技术名词解释如下：

1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；

3）Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统；

4）Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

5）Flink：Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6）Oozie：Oozie是一个管理Hadoop作业（job）的工作流程调度管理系统。

7）Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8）Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。