hdfs分布式文件存储系统简介

Hadoopd分布式文件存储系统——hdfs

一、HDFS（Hadoop Distributed File System）架构简介

1.HDFS设计思想
随着数据量越来越大，在一个操作系统磁盘空间肯定存不下了，那么就需要分配到更多的操作系统管理的磁盘中，也就是常说的分布式存储-集群多机器存储。但是涉及多个机器存储，就不方便管理和维护。HDFS就是一个很好的分布式文件管理系统。它使用多台机器（一般是Linux）机器上的特定磁盘空间作为文件系统的存储空间，相当于整合了多台机器的存储空间为自己所用。扩大了存储空间。对于文件来说，HDFS也作出了一些特有的设计方式。它将每一个文件切分成多个块进行存储，将切分后的块分散存储到多台机器上，Hadoop2.x版本中默认块大小是128MB。比如一个文件大小300MB，那么在HDFS中，会被切分成三个数据块（128MB，128MB，44MB），三个块都是独立的，它们会被存储在不同的机器上。这样做的好处就是不会有超大文件的影响，最大的块只有128MB，对机器性能要求不高，可以部署在廉价的机器上。
从上面的设计中，可以看出HDFS至少要提供以下几项功能：

• 要将文件进行切分；
• 一个文件被切分后，被分成多少块，每个块存储在哪些机器上，这些都是需要记录的，不然，文件存进去了，不能查出来；
• 数据丢失的问题，HDFS可以部署在廉价的机器上，那就会存在某个机器损坏，导致数据丢失，也就是说HDFS还得提供容错功能。HDFS采用的是副本机制，对切分后的文件块进行备份。

针对上面的设计思想和需要解决的功能，引出HDFS的架构。

2.hdfs组成架构

hdfs架构组成主要分为四部分：HDFS Client、NameNode、DataNode和Secondary NameNode

①：Client：客户端，用户自己编写的 Java hadoop API
  主要功能为：
（1）进行文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储。
（2）当我们要查询一个文件时，与NameNode交互，获取文件的位置信息。
（3）与DataNode交互，读取或者写入数据。
（4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。
（5）Client可以通过一些命令来访问HDFS。

②NameNode：元数据节点，是一个管理者，Master。hadoop集群中只能有一个活动的NameNode对外提供服务。
  主要功能为：
（1）管理HDFS的名称空间（文件目录树）；HDFS很方便的一点就是对于用户来说很友好，用户不考虑细节的话，看到的目录结构和我们使用Window和Linux文件系统很像。
（2）管理数据块（Block）映射信息及副本信息；一个文件对应的块的名字以及块被存储在哪里，以及每一个文件备份多少都是由NameNode来管理。
（3）处理客户端读写请求。

③：DataNode：数据节点，实际存储数据块的节点，Slave。NameNode下达命令，DataNode执行实际的操作。
  主要功能为：
（1）存储实际的数据块。
（2）执行数据块的读/写操作。

④：Secondary NameNode：从元数据节点,并不是NameNode的备份。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务，一个NameNode可以同时设置多个Secondary NameNode。
  主要功能为：
（1）辅助NameNode，分担其工作量。
（2）定期合并Fsimage和Edits，并推送给NameNode。
（3）在紧急情况下，可辅助恢复NameNode。
注：Secondary NameNode的工作与HDFS设计是相关的，主要针对元数据设计的。它维护了两种文件Fsimage和Edits，Fsimage镜像文件，是元数据在某个时间段的快照，Edits记录了生成快照之后的一些列操作。HDFS在最初格式化启动时，创建Edits和Fsimage文件，并在内存中维护一版元数据信息，这时候，Fsimage和内存中的元数据信息是相同的。后续每一次客户端操作时，会先记录客户端执行的操作，这个操作是记录Edits在文件中的，然后再更新内存中对应的目录树结构，比如用户删除一个文件，会先在Edits文件中记录一个delete操作，然后在内存中真正删除改文件。也就是说，内存中的元数据信息是完整的。前面生成的快照Fsimage只是元数据的一部分，执行完Edits文件中相关操作才能与内存中元数据相同。
为什么要这么设计呢？
首先，为什么不直接更新Fsimage，而是要新添加Edits文件。这里就需要明确Fsimage里面存的是元数据目录树信息，其实是一个内存对象序列化后的内容。
要更新这个文件，首先得反序列化对象加载到内存中，在实际工作，这个文件是很大，序列化和反序列化过程会很繁重，速度会很慢。而
Edits文件只需要append操作记录即可。这样既保证了元数据不会丢失，也提高了性能。
SecondaryNameNode具体干什么事情？
当HDFS运行一段时间后，需要重启动时，需要将Fsimage加载到内存中，并把Eidts文件中的操作执行一遍，才是完整的元数据信息。假如操作记录比较频繁或者长时间没有重启过，Edits文件会很大。重启的时候合并Fsimage+Edits文件的操作也是很耗时的，增加了启动时间。SecondaryNameNode就是这种问题的，它是一个独立的进程，定期（满足一定条件）会将Fsimage+Edits合并成一个新的Fsimage，减少HDFS重启时间。

2.HDFS文件块大小
HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，Hadoop1.x版本中是64M。
HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。
如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。
块的大小：10ms100100M/s = 100M。

3.HDFS优缺点

优点：
（1）高容错性
数据自动保存多个副本，它通过增加副本的形式，提高容错性。 某一个副本丢失以后，它可以自动恢复。
（2）适合处理超大文件

• 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据。
• 文件规模：能够处理百万规模以上的文件数量，数量相当之大。

（3）流式数据写入
一次写入，多次读取，能保证数据的一致性。
（4）可构建在廉价机器上，通过多副本机制，提高可靠性。

缺点：
（1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
（2）无法高效的对大量小文件进行存储。
存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
（3）不支持并发写入、文件随机修改。
一个文件只能有一个写，不允许多个线程同时写；
仅支持数据append（追加），写操作总是在文件的末尾，不支持文件的随机修改。

4.hdfs副本机制
默认副本数为3，避免数据丢失，从而提高了容错性
存放机制：一个在本地机架节点，一个在同一个机架不同节点，一个在临近的机架节点

二、HFDS的Shell操作

1.基本语法

hadoop/hdfs dfs 具体命令

可输入：  hadoop/hdfs dfs
查看命令大全

2.命令实操

1. -help：输出这个命令参数

hdfs dfs -help 具体命令

2. -ls: 显示目录信息

hdfs dfs -ls /路径

3. -mkdir：在hdfs上创建目录,加上 -p 创建多级目录

hdfs dfs -mkdir -p /tmp/test

4. -moveFromLocal：从本地剪切粘贴到hdfs

hdfs dfs -moveFromLocal 本地路径 /hdfs路径

注：没有从hdfs剪切到本地的方法

5. -copyFromLocal、-put：从本地文件系统中拷贝文件到hdfs路径去

hdfs dfs -copyFromLocal/put 本地路径 /hdfs路径

6. -copyToLocal、-get：从hdfs拷贝到本地

hdfs dfs -copyToLocal/get /hdfs路径 本地路径

7. -appendToFile ：追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile 本地路径 /hdfs路径

8. -cat ：显示文件内容

hdfs dfs -cat /hdfs路径

9. -chgrp 、-chmod、-chown：与linux文件系统中的用法一样，修改文件所属权限

hdfs dfs -chmod 666 /hdfs路径

10. -cp ：复制，从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs -cp hdfs路径1 hdfs路径2

11. 在hdfs目录中移动文件

hdfs dfs -mv hdfs路径1 hdfs路径2

12. -getmerge ：合并下载多个文件，比如hdfs的目录/test/下有多个文件:log.1, log.2,log.3,…,合并下载会写入至指定的文件中

hdfs dfs -getmerge /test/* ./merge.txt

13. -rm：删除文件或文件夹

hdfs dfs -rm /hdfs路径

14. -rmdir：删除空目录

hdfs dfs -mkdir /hdfs空文件夹路径

15. -du统计文件夹的大小信息

hdfs dfs -du -s -h /hdfs文件夹路径

16. -setrep：设置hdfs中文件的副本数量

hdfs dfs -setrep 10 /hdfs文件路径

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

三、使用Java API访问Hdfs服务器

https://blog.csdn.net/and52696686/article/details/107035849

四、hdfs读写流程

https://blog.csdn.net/and52696686/article/details/107135229