Hadoop Distributed File System（HDFS）

1、概述

        HDFS相当于是做存储的。有大量的数据需要存，存到哪里。

        HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目。 Hadoop 非常适于存储大型数据 (比如TB级别和PB级别的数据), 其实就是使用 Hadoop的HDFS 作为数据的存储系统。

        HDFS 可以使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。HDFS 对数据文件的访问通过流的方式进行处理, 这意味着通过shell命令和 MapReduce 程序的方式可以直接使用 HDFS。

        可以通过 Apache Hadoop 获取 hadoop 相关的版本。

        本来使用的是hadoop-3.1.1版本。但是考虑到该版本有点缺陷，这里升级到3.1.2的版本。通过 Hadoop – Apache Hadoop 3.1.2 可以查看3.1.2的文档。

留意文档左下角有 HDFS 的说明。

        HDFS可以使用多台计算机存储文件。并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。

        Hadoop是主从结构的。其中HDFS分布式文件系统也是属于主从结构的分布式文件系统。Master与slave通过RPC协议进行通信。他们组成有着主从架构的分布式文件系统。

        Hadoop文件系统在一定程度上采用了Linux树状结构的文件系统。HDFS 对数据文件的访问通过流的方式进行处理, 这意味着通过shell命令和 MapReduce 程序的方式可以直接使用 HDFS。HDFS 是高容错的, 且提供对数据集的高吞吐量访问。

        HDFS 是高容错的, 且提供对数据集的高吞吐量访问。

        什么是可容错性？如果死掉了一个存储节点，里面的东西也可以进行转移，转移到一个新的节点机器中。其他节点会替代你完成节点的存储工作。而且由于是分布式的，可以拓展很多存储的节点。

        HDFS 的一个非常重要的特点就是一次写入、多次读取, 该模型降低了对并发控制的要求, 简化了数据聚合性, 支持高吞吐量访问。而吞吐量是大数据系统的一个非常重要的指标, 吞吐量高意味着能处理的数据量就大。

        HDFS本质上是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色

        HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。数据读到HDFS中后，要么删除，要么就别改。

​​​​​​​2、组成架构

参考：Apache Hadoop 3.1.2 – HDFS Architecture 

（1）HDFS的组成架构包括：NameNode和DataNode以及Secondary Namenode。

（2） NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

（3）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

（4）Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照

        比如有一个文件 a.txt 很大，则在HDFS客户端中，需要进行拆分切割。每块的大小都是固定的128MB。

        Datanode则是具体进行块的存储的。这些块就是通过datanode存储到硬盘中。Namenode则存储块的元数据，还负责datanode状态的监控。元数据是存储在内存中的，块数据则是存放在磁盘上的。还有一些次要角色，比如seondarynamenode。考虑到namenode要存储那么多元数据，工作较繁忙。于是后来添加了secondarynamenode就是帮助namenode进行数据的管理。

        维持这个架构的运作是由架构师想到的一些比较号的机制。

        心跳机制。Datanode会时不时向namenode发送心跳，说：还活着。这样数据存储的时候，就还会把它作为数据存储的节点。如果老是把数据放在一个存储节点上，就可能会爆。为了维持有效分工，架构师想出另一个机制：负载均衡。使要保存的块数据均匀分布在不同的datanode存储节点上。

        除此以外，为了防止数据丢失，提高数据容错性，架构还有一个机制：副本机制。即使有一个数据存储节点坏掉了，依然可以保证数据的完整性。

以上就是上图中描述的：Heartbeats、balancing、replication。

3、HDFS文件块大小

        HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M

        留意之前配置的时候 hdfs-site.xml 中的设置。134,217,728=128M。

        考虑到块都是在datanode中进行存储的。每块通过行偏移量确定块的位置。

        介绍一个经典的面试题。为什么blocksize是128MB。这个要涉及到文件系统的状态。

        1. HDFS中平均寻址时间大概为10ms；

        2. 经过测试发现，寻址时间为传输时间的1%时，为最佳状态；所以最佳传输时间为10ms / 0.01 = 1000ms = 1s

        3. 目前磁盘的传输速率普遍为100MB/s  ,  网卡普遍为千兆网卡传输速率普遍也是100MB/s；计算出最佳block大小：100MB/s x 1s = 100MB；所以我们设定block大小为128MB。找到128MB所需要的时间大概是10ms。传输128MB的数据大概需要1s。

        HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。很多情况下HDFS使用128MB的块设置。

4、HDFS的shell操作

注意：每次启动虚拟机需要

（1）执行格式化命令：

cd /export/servers/hadoop-3.1.2/ # 需要先进入这个目录再执行format bin/hdfs namenode -format

如果不是第一次格式，则这里会弹出提示是否覆盖，选择n

2、启动集群

/export/servers/hadoop-3.1.2/sbin/start-dfs.sh /export/servers/hadoop-3.1.2/sbin/start-yarn.sh mapred --daemon start historyserver

        通过 http://192.168.110.101:50070/dfshealth.html#tab-overview 可以查看 Summary 汇总情况。需要确保Live Nodes为3说明有3个节点是活的。如果该值为0，需要通过jps确认是否存在datanode

接下来切换到分布式文件系统。

页面切换到：http://192.168.110.101:50070/explorer.html 

可以看到只有一个根目录，里面只有export。

接下来通过命令行操作进行文件系统的访问。

5、基本语法

有fs和dfs两个基本语法：

hadoop fs 具体命令

hadoop dfs 具体命令

​​​​​​​6、参数大全

可以输入help命令，具体格式如下：

hadoop fs -help

注：hadoop fs参数大全如下：

[-appendToFile <localsrc> ... <dst>]         [-cat [-ignoreCrc] <src> ...]         [-checksum <src> ...]         [-chgrp [-R] GROUP PATH...]         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]         [-chown [-R] [OWNER][:[GROUP]] PATH...]         [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]         [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-count [-q] <path> ...]         [-cp [-f] [-p] <src> ... <dst>]         [-createSnapshot <snapshotDir> [<snapshotName>]]         [-deleteSnapshot <snapshotDir> <snapshotName>]         [-df [-h] [<path> ...]]         [-du [-s] [-h] <path> ...]         [-expunge]         [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-getfacl [-R] <path>]         [-getmerge [-nl] <src> <localdst>]         [-help [cmd ...]]         [-ls [-d] [-h] [-R] [<path> ...]]         [-mkdir [-p] <path> ...]         [-moveFromLocal <localsrc> ... <dst>]         [-moveToLocal <src> <localdst>]         [-mv <src> ... <dst>]         [-put [-f] [-p] <localsrc> ... <dst>]         [-renameSnapshot <snapshotDir> <oldName> <newName>]         [-rm [-f] [-r|-R] [-skipTrash] <src> ...]         [-rmdir [--ignore-fail-on-non-empty] <dir> ...]         [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]         [-setrep [-R] [-w] <rep> <path> ...]         [-stat [format] <path> ...]         [-tail [-f] <file>]         [-test -[defsz] <path>]         [-text [-ignoreCrc] <src> ...]         [-touchz <path> ...]         [-usage [cmd ...]]

​​​​​​​7、常用命令实操

（1） -help

功能：输出这个命令参数手册，即上面的参数大全。

[-help [cmd ...]]

比如：

hadoop fs -help

（2）-ls

功能：显示目录信息

[-ls [-d] [-h] [-R] [<path> ...]]

比如：

hadoop fs –ls /

hadoop fs –ls hdfs://hadoop101:8020/

这里的 hdfs://hadoop101:8020 是在 core-site.xml中配置的。见 fs.defaultFS属性。

注意，这些参数中，所有的hdfs路径都可以简写。所以上面两条命令是一样的。

（3）-mkdir

功能：在hdfs上创建目录

[-mkdir [-p] <path> ...]

比如：

hadoop fs –mkdir -p /aaa/bbb/cc/dd

注意：hadoop fs上创建的目录，在真实磁盘上是不存在的。该目录是由NameNode这个角色记录的。

可以在图形化界面 http://192.168.110.101:50070/explorer.html#/ 上刷新看一下。

（4） -copyFromLocal -put

功能：从本地（linux系统）拷贝粘贴到hdfs

[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]

[-put [-f] [-p] <localsrc> ... <dst>]

比如：

hadoop fs –copyFromLocal ./a.txt /aaa/bbb/cc/dd

hadoop fs –put ./a.txt /aaa/bbb/cc/dd

注意：Replication为3表示有3个副本。即使这个文件只有几个字节，仍然会以一个块（BlockSize为128MB）的方式进行存储。

（5）-copyToLocal -get

功能：从hdfs下载文件到本地

[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

比如：

hadoop fs –copyToLocal /aaa/bbb/cc/dd/a.txt ./

hadoop fs –get /aaa/bbb/cc/dd/a.txt ./

（6） -moveFromLocal

功能：从本地（linux系统）剪切粘贴到hdfs

[-moveFromLocal <localsrc> ... <dst>]

比如：

hadoop fs –moveFromLocal ./a.txt /aaa/bbb/cc/dd

注意：前面的路径是本地磁盘（linux系统）上的，后面的路径是hdfs上的。moveToLocal执行后，本地磁盘上的文件就不存在了。

（7） -moveToLocal

功能：从hdfs剪切粘贴到本地（linux系统）

[-moveToLocal <src> <localdst>]

比如：

hadoop fs –moveToLocal /aaa/bbb/cc/dd/a.txt ./

为何会出现这个？moveToLocal还没实现？

（8）-getmerge

功能：合并下载多个文件

[-getmerge [-nl] <src> <localdst>]

比如：

hadoop fs -getmerge /aaa/log.* /export/testdata/log.sum

假设分布式系统上/aaa/目录上有log.1、log.2、log.3文件。合并后存到本地上的log.sum文件中。

（9） -cat

功能：显示文件内容

[-cat [-ignoreCrc] <src> ...]

比如：

hadoop fs -cat /aaa/bbb/cc/dd/a.txt

（10） -tail

功能：显示一个文件的末尾

[-tail [-f] <file>]

比如：

hadoop fs -tail /aaa/bbb/cc/dd/install.log

显示最后20行？

（11） -text

功能：以字符形式打印一个文件的内容

[-text [-f] <file>]

比如：

hadoop fs -text /aaa/bbb/cc/dd/a.txt

（12） --appendToFile

功能：追加一个文件到已经存在的文件末尾

[-appendToFile <localsrc> ... <dst>]

比如：

hadoop fs –moveFromLocal /export/testdata/a.txt /aaa/bbb/cc/dd

可以使用-cat命令查看文件的内容。

如果报告如下错误：

考虑换成hadoop-3.1.2版本。

（13） -cp

功能：从hdfs的一个路径拷贝hdfs的另一个路径

[-cp [-f] [-p] <src> ... <dst>]

比如：

hadoop fs –cp /aaa/bbb/cc/dd/a.txt /aaa/

（14）-mv

功能：在hdfs目录中移动文件

[-mv <src> ... <dst>]

比如：

hadoop fs –mv /aaa/a.txt /aaa/bbb/

（15） -df

功能：统计文件系统的可用空间信息

[-df [-h] [<path> ...]]

比如：

hadoop fs –df -h /

这里表示共有31.4G的可用空间，目前用了不到1%。

（15） -du

功能：统计文件夹的大小信息

[-du [-s] [-h] <path> ...]

比如：

hadoop fs –du -s -h /aaa/*

（16）-chgrp

（17） -chmod

（18） -chown

功能：linux文件系统中的用法一样，对文件所属权限

比如：

hadoop fs -chmod 666 /aaa/bbb/cc/dd/a.txt

（19） -count

功能：统计一个指定目录下的文件节点数量

比如：

hadoop fs -count /aaa/

（20）-setrep

功能：设置hdfs中文件的副本数量

hadoop fs -setrep 2 /aaa/a.txt

现在默认是3个副本。这个是在 hdfs-site.xml中设置的。

可以通过setrep命令修改副本的数量。

Hadoop建议我们往HDFS中存储大文件，而不是小文件。因为这个会浪费块资源。小文件也需要进行合并处理。所以上面的操作可以考虑使用大文件进行。

hadoop fs -copyFromLocal /export/softwares/jdk-8u141-linux-x64.tar.gz  /aaa/bbb/cc/dd/