39-45-hadoop-hdfs-基础

39-hadoop-hdfs-基础：

hdfs-xmind

1、HDFS概述

HDFS 产出背景及定义

1）HDFS产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系

统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这

就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

2）HDFS 定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目

录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务

器有各自的角色。

HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭

之后就不需要改变。

2、HDFS的优缺点

优点

1）高容错性

数据自动保存多个副本。它通过增加副本的形式，提高容错性。

某一个副本丢失以后，它可以自动恢复。

2）适合处理大数据

数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

文件规模：能够处理百万规模以上的文件数量，数量相当之大。

3）可构建在廉价机器上，通过多副本机制，提高可靠性。

缺点

1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

2）无法高效的对大量小文件进行存储。

➢ 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和

块信息。这样是不可取的，因为NameNode的内存总是有限的；

➢ 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

3）不支持并发写入、文件随机修改。

➢ 一个文件只能有一个写，不允许多个线程同时写；

➢ 仅支持数据append（追加），不支持文件的随机修改。

3、HDFS组成

1）NameNode（nn）：就是Master，它

是一个主管、管理者。

（1）管理HDFS的名称空间；

（2）配置副本策略；

（3）管理数据块（Block）映射信息；

（4）处理客户端读写请求。

2）DataNode：就是Slave。NameNode

下达命令，DataNode执行实际的操作。

（1）存储实际的数据块；

（2）执行数据块的读/写操作。

3）Client：就是客户端。

（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；

（2）与NameNode交互，获取文件的位置信息；

（3）与DataNode交互，读取或者写入数据；

（4）Client提供一些命令来管理HDFS，比如NameNode格式化；

（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不

能马上替换NameNode并提供服务。

（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；

ode：并非NameNode的热备。当NameNode挂掉的时候，它并不

能马上替换NameNode并提供服务。

（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；

（2）在紧急情况下，可辅助恢复NameNode。

hadoop-HDFS-文件块大小：

1、HDFS 文件块大小

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数

( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

2）如果寻址时间约为10ms， 即查找到目标block的时间为 10ms。

3）寻址时间为传输时间的1% 时，则为最佳状态。（专家） 因此，传输时间 =10ms/0.01=1000ms=1s

4）而目前磁盘的传输速率普 遍为100MB/s。

思考：为什么块的大小不能设置太小，也不能设置太大？

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开

始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。

2、HDFS-shell操作

1）、 基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令 。两个是完全相同的。

[root@hadoop102 hadoop-3.1.4]# hadoop fs
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
        [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-v] [-x] <path> ...]
        [-expunge [-immediate]]
        [-find <path> ... <expression> ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
        [-head <file>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] [-s <sleep interval>] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

Generic options supported are:
-conf <configuration file>        specify an application configuration file
-D <property=value>               define a value for a given property
-fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
-jt <local|resourcemanager:port>  specify a ResourceManager
-files <file1,...>                specify a comma-separated list of files to be copied to the map reduce cluster
-libjars <jar1,...>               specify a comma-separated list of jar files to be included in the classpath
-archives <archive1,...>          specify a comma-separated list of archives to be unarchived on the compute machines

The general command line syntax is:
command [genericOptions] [commandOptions]

常用命令练习：

1）启动 Hadoop 集群（方便后续的测试）

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

2）-help：输出这个命令参数

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

3）创建/sanguo 文件夹

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo

Hadoop-HDFS-shell:

Hdfs-shell命令

1 基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令

[root@hadoop102 hbase-1.3.1]# hadoop fs
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
        [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-v] [-x] <path> ...]
        [-expunge [-immediate]]
        [-find <path> ... <expression> ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
        [-head <file>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] [-s <sleep interval>] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

Generic options supported are:
-conf <configuration file>        specify an application configuration file
-D <property=value>               define a value for a given property
-fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
-jt <local|resourcemanager:port>  specify a ResourceManager
-files <file1,...>                specify a comma-separated list of files to be copied to the map reduce cluster
-libjars <jar1,...>               specify a comma-separated list of jar files to be included in the classpath
-archives <archive1,...>          specify a comma-separated list of archives to be unarchived on the compute machines

The general command line syntax is:
command [genericOptions] [commandOptions]

hdfs实操

1、启动集群

[root@hadoop102 hbase-1.3.1]# myhadoop.sh start

2、命令查看

[root@hadoop102 hbase-1.3.1]# hadoop fs -help rm

[root@hadoop102 hbase-1.3.1]# hadoop fs -help rm
-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ... :
  Delete all files that match the specified file pattern. Equivalent to the Unix
  command "rm <src>"

  -f          If the file does not exist, do not display a diagnostic message or
              modify the exit status to reflect an error.
  -[rR]       Recursively deletes directories.
  -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>.
  -safely     option requires safety confirmation, if enabled, requires
              confirmation before deleting large directory with more than
              <hadoop.shell.delete.limit.num.files> files. Delay is expected when
              walking over large directory recursively to count the number of
              files to be deleted before the confirmation.

3、创建一个学习相关的文件夹

[root@hadoop102 hbase-1.3.1]# hadoop fs -mkdir /hadoopstudy

hdfs命令分三大类：上传，下载，HDFS直接操作

上传

-moveFromLocal：从本地剪切粘贴到 HDFS

1）、创建本地文件（内容随意）

[root@hadoop102 hadoop-3.1.4]# vim shuguo.txt

2）、上传命令， -moveFromLocal剪切，./shuguo.txt本地文件路径，/hadoopstudy上传的路径

[root@hadoop102 hadoop-3.1.4]# hadoop fs -moveFromLocal ./shuguo.txt /hadoopstudy

3）、上传命令， -copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去，./local-shell-copy.txt本地文件路径，/hadoopstudy上传的路径

[root@hadoop102 hadoop-3.1.4]# hadoop fs -copyFromLocal ./local-shell-copy.txt /hadoopstudy

4）、上传命令， -put：等同于 copyFromLocal，生产环境更习惯用 put，./put-shell-hdfs.txt本地文件路径，/hadoopstudy上传的路径

[root@hadoop102 hadoop-3.1.4]# hadoop fs -put ./put-shell-hdfs.txt /hadoopstudy

5）、上传命令， -appendToFile：追加一个文件到已经存在的文件末尾 ，./shell-append-hdfs.txt 本地文件路径，/hadoopstudy/shuguo.txt被追加的文件

[root@hadoop102 hadoop-3.1.4]# hadoop fs -appendToFile ./shell-append-hdfs.txt /hadoopstudy/shuguo.txt

下载

1）-copyToLocal：从 HDFS 拷贝到本地

[root@hadoop102 hadoop-3.1.4]# hadoop fs -copyToLocal /hadoopstudy/shuguo.txt ./

2）-get：等同于 copyToLocal，生产环境更习惯用 get,get可以直接修改文件名称

[root@hadoop102 hadoop-3.1.4]# hadoop fs -get /hadoopstudy/shuguo.txt ./shuguo修改名字后的.txt

直接操作

1）-ls: 显示目录信息

[root@hadoop102 hadoop-3.1.4]$ hadoop fs -ls /sanguo

2）-cat：显示文件内容

[root@hadoop102 hadoop-3.1.4]$ hadoop fs -cat /sanguo/shuguo.txt

3）-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

[root@hadoop102 hadoop-3.1.4]$ hadoop fs -chmod 666

/sanguo/shuguo.txt

4）-mkdir：创建路径

[root@hadoop102 hadoop-3.1.4]$ hadoop fs -mkdir /jinguo

5）-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

[root@hadoop102 hadoop-3.1.4]# hadoop fs -cp /hadoopstudy/shuguo.txt /jingguo

6）-mv：在 HDFS 目录中移动文件
[root@hadoop102 hadoop-3.1.4]# hadoop fs -mv /hadoopstudy/local-shell-copy.txt /jinguo
[root@hadoop102 hadoop-3.1.4]# hadoop fs -mv /hadoopstudy/put-shell-hdfs.txt /jinguo

7）-tail：显示一个文件的末尾 1kb 的数据

[root@hadoop102 hadoop-3.1.4]# hadoop fs -tail /jinguo/local-shell-copy.txt
local-01-shell-hadoop-copy-上传

8）-rm：删除文件或文件夹

[root@hadoop102 hadoop-3.1.4]# hadoop fs -rm /hadoopstudy/shuguo.txt
Deleted /hadoopstudy/shuguo.txt

9）-rm -r：递归删除目录及目录里面内容

[root@hadoop102 hadoop-3.1.4]$ hadoop fs -rm -r /sanguo

10）-du 统计文件夹的大小信息

[root@hadoop102 hadoop-3.1.4]# hadoop fs -du -s -h /jinguo
48 144 /jinguo
[root@hadoop102 hadoop-3.1.4]# hadoop fs -du -h /jinguo
34 102 /jinguo/local-shell-copy.txt
14 42 /jinguo/put-shell-hdfs.txt

说明：48 表示文件大小；144 表示 副本；后面表示查看的目录

11）-setrep：设置 HDFS 中文件的副本数量 (页面也可以修改)

[root@hadoop102 hadoop-3.1.4]# hadoop fs -setrep 10 /jinguo/local-shell-copy.txt
Replication 10 set: /jinguo/local-shell-copy.txt

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得 看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10 台时，副本数才能达到 10。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k3ovtB2Y-1668929668543)(png/1619277982849.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KTXgw7N0-1668929668544)(png/1619278031235.png)]

注，学习路径：https://space.bilibili.com/302417610/，如有侵权，请联系q进行删除：3623472230