Hadoop功能与使用详解（HDFS+YARN）

1 服务概述

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。

Hadoop使用Java开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS，HDFS) 和MapReduce。

1.1 HDFS

Hadoop Distributed File System，Hadoop分布式文件系统，简称HDFS

1.1.1 架构解析

1.1.1.1 Block 数据块

• 基本存储单元，1.x版本默认64M，2.x版本之后默认128M；
• 单个文件会被拆分成为一个个大小相同的块数据，存储在不同的机器上，当一个文件小于Block设置的大小，那么实际占用的空间为其文件的大小；
• 基本读写单位，类似于磁盘的页，每次都是读写一个块；
• 每个块都会被复制到多个机器上，默认副本数量为3。

Hadoop 1.x版本默认为64M，Hadoop 2.x版本之后默认为128M。这样做的目的如下：

• 减少搜索时间，一般情况下硬盘传输