分布式文件系统HDFS-2

最新推荐文章于 2024-07-19 17:17:26 发布

K要努力

最新推荐文章于 2024-07-19 17:17:26 发布

阅读量745

点赞数 9

分类专栏：大数据文章标签： hdfs hadoop 大数据云原生数据库开发

本文链接：https://blog.csdn.net/weixin_59994613/article/details/137808440

版权

大数据专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

主要内容
一.HDFS
总结

主要内容

分布式文件系统HDFS

一.HDFS

1.数据错误与恢复

HDFS具有较高的容错性，可以兼容廉价的硬件，它把硬件出错看作一种常态，而不是异常，并设计了相应的机制检测数据错误和进行自动恢复，主要包括以下几种情形：名称节点出错、数据节点出错和数据出错。

2.名称节点出错

名称节点保存了所有的元数据信息，其中，最核心的两大数据结构是FsImage和Editlog，如果这两个文件发生损坏，那么整个HDFS实例将失效。因此，HDFS设置了备份机制，把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时，就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。

3.数据节点出错

每个数据节点会定期向名称节点发送“心跳”信息，向名称节点报告自己的状态
当数据节点发生故障，或者网络发生断网时，名称节点就无法收到来自一些数据节点的心跳信息，这时，这些数据节点就会被标记为“宕机”，节点上面的所有数据都会被标记为“不可读”，名称节点不会再给它们发送任何I/O请求
这时，有可能出现一种情形，即由于一些数据节点的不可用，会导致一些数据块的副本数量小于冗余因子；名称节点会定期检查这种情况，一旦发现就会启动数据冗余复制，为它生成新的副本

4.数据出错

网络传输和磁盘错误等因素，都会造成数据错误
客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据
在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息写入到同一个路径的隐藏文件里面
当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块

5.HDFS读写过程

在这里插入图片描述

FileSystem是一个通用文件系统的抽象基类，可以被分布式文件系统继承，所有可能使用Hadoop文件系统的代码，都要使用这个类
Hadoop为FileSystem这个抽象类提供了多种具体实现
DistributedFileSystem就是FileSystem在HDFS文件系统中的具体实现
FileSystem的open()方法返回的是一个输入流FSDataInputStream对象，在HDFS文件系统中，具体的输入流就是DFSInputStream；FileSystem
中的create()方法返回的是一个输出流FSDataOutputStream对象，在HDFS文件系统中，具体的输出流就是DFSOutputStream。

Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://localhost:9000");
conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
FSDataInputStream in = fs.open(new Path(uri));
FSDataOutputStream out = fs.create(new Path(uri));

6.写操作

场景：一个文件200MB,客户端需要将该文件写到HDFS上。 HDFS配置:HDFS分布在三个机架Rack1，Rack2和Rack3。
写入配置:文件被分成128MB和72MB的两个数据块，复制三份
第一步客户端将该文件分成128MB和72MB的两个Block,block1和block2
第二步
客户端向Namenode发送数据写入请求，点虚线1， Namenode节点记录数据节点信息，并且返回可用的Datanode,点虚线2
Block1: DN1 DN3 DN4
Block2:DN5 DN7 DN8

在这里插入图片描述

第三步
1.客户端向Datanode发送block1，发送过程是流式写入,将128MB的block按照64k的传输包划分
2.将第一个传输包发送个DN1,DN1接受完第一个传输包后，将该传输包发送给DN4,同时客户端向DN1发送第二个传输包
3.DN4接收完第一传输包后，向DN3传送第一个传输包，同时接收从DN1发来的第二个传输包
4.以此重复，直至block1发送完毕。(数据传输是实线)
5.DN1,DN4,DN3向Namenode发送消息，DN1向客户端发送消息，说明block1已经传输完毕
6.客户端收到DN1的消息后，向Namenode发送消息，说明block1已经写完了。到此为止，block1正式写完
7.依照以上原理，将block2 写入DN5,DN8,DN7,写完后，DN5,DN8,DN7告诉Namenode已经写完DN5告诉客户端已经写入完毕
8.客户端会告诉Namenode，已经写完block2，至此整个文件已经写入完毕