Hadoop学习6：HDFS基本概念

最新推荐文章于 2024-07-23 23:48:14 发布

愿你被这个世界温暖相待

最新推荐文章于 2024-07-23 23:48:14 发布

阅读量132

点赞数

分类专栏： # Hadoop基础文章标签： hadoop hdfs big data

本文链接：https://blog.csdn.net/qq_43967413/article/details/121726479

版权

16 篇文章 4 订阅

订阅专栏

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

HDFS只是分布式文件管理系统中的一种

HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色

HDFS适合一次写入，多次读出的场景，且不支持文件的随机修改（支持在原有内容的基础上追加内容，但是不能修改前边的内容）。适合用来做数据分析（多次读出的目的就是进行数据的分析），并不适合用来做网盘应用

高容错性
(1) 数据自动保存多个副本。它通过增加副本的形式，提高容错性
(2) 某一个副本丢失以后，它可以自动恢复
适合处理大数据
(1）数据规模︰能够处理数据规模达到GB、TB、甚至PB级别的数据
(2）文件规模 ：能够处理百万规模以上的文件数量，数量相当之大
可构建廉价机器上的，通过副本机制，提高可靠性

不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
无法高效的对大量小文件进行存储
1. 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的
2. 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标
不支持并发写入、文件随机修改
1. 一个文件只能有一个写，不允许多个线程同时写
2. 仅支持数据append(追加)，不支持文件的随机修改

在这里插入图片描述

client从NameNode获取元数据信息，原数据信息包括目录结构以及块信息等
获得了相应的块信息就从实际存储数据的DataNode中读取数据，数据在DataNode中是按快存储的，客户端读写的信息实际上是对DataNode上的块数据进行读写，由NameNode进行记录这些信息
NameNode就类似于目录，而DataNode是实际的内容

NameNode (nn)：就是Master，它是一个主管、管理者
1. 管理HDFS的名称空间
2. 配置副本策略
3. 管理数据块（Block)映射信息
4. 处理客户端读写请求
DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
1. 存储实际的数据块
2. 执行数据块的读/写操作
Client：就是客户端
1. 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传
2. 与NameNode交互，获取文件的位置信息
3. 与DataNode交互，读取或者写入数据
4. Client提f供一些命令来管理HDFS，比NameNode格式化
5. Client可以诵过一些命令来访问HDFS，比对HDFS增删查改操作;
Secondary NameNode,并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务
1. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
2. 在紧急情况下，可辅助恢复NameNode

HDFS中的文件在物理上是分块存储( Block)，块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop3.1.3版本中是128M，hadoop2.x也是128M,hadoop1.x是64M

该大小可以从HDFS的配置文件hdfs-default.xml可以看到上述的值，单位是字节,可以通过自定义的hdfs-site.xml定义dfs.blocksize属性的值，去指定块的大小

两个概念
1. 寻址时间：找到目标块的所用的时间
2. 传输时间：磁盘数据传输的时间
理论上，寻址时间是传输数据的时间的1%是最佳的，而HDFS中是以块为单位的，寻找信息的地址也就是以块为单位
如果寻找目标块的平均时间是1ms，也就是寻址时间是1ms，那么数据传输时间就是1s，假设磁盘传输速率是100M/s，那么1s传输的数据量是100M，也就是说每一个数据块可以设置成100M可以符合上述的条件，也可以按实际情况取比实际更大且为整数的数据块，例如相对于上述例子，使用更高的128M，那么以后传输过来的数据很可能就是小于128M那么就存在一个块中
这是在数据传输时间和寻址时间的一个取舍，更大的快虽然寻址时间相对小，但是后续需要该快的传输时间就会慢，更小的块就会寻址时间比较长
对于实际，可以按具体的设备的性能（磁盘传输的传输速率）参考按上述的规则设置

关注

专栏目录