二、HDFS
2.1、HDFS概述
HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭
2.2、HDFS优缺点
2.1.1、优点
-
高容错性
数据自动保存多个副本。它通过增加副本的形式,提高容错性。
某一个副本丢失以后,它可以自动恢复。 -
适合处理大数据
数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;
文件规模:能够处理百万规模以上的文件数量,数量相当之大。 -
可构建在廉价机器上,通过多副本机制,提高可靠性。
2.1.2、缺点
-
不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。
-
无法高效的对大量小文件进行存储。
存储大量小文件的话,它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的,因为NameNode的内存总是有限的;
小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。 -
不支持并发写入、文件随机修改。
一个文件只能有一个写,不允许多个线程同时写;
仅支持数据append(追加),不支持文件的随机修改。
2.3 、HDFS 组成架构
NameNode:简称NN,就是Master,是一个管理者
● 管理HDFS的名称空间,存放文件元数据(文件名、目录结构、文件属性等)
● 配置副本策略
● 管理数据块(block)映射信息(文件与数据块的映射、数据块与数据节点的映射)
● 处理客户端读写请求
DataNode:就是Slave。根据NameNode的指令执行实际的操作
● 存储实际的数据块
● 执行数据块的读/写操作
Secondary NameNode:简称2NN。不是NameNode的热备,当NameNode宕机时,并不能马上替换NameNode提供服务
● 服务NameNode,分担其工作量,比如定期合并 Fsimage 和 Edits,并推送给NameNode
● 在紧急情况下,可辅助恢复NameNode
上面的Hadoop官方绘制的HDFS架构图中并没有2NN,因为在企业中一般会将NameNode搭建成高可用,而不是使用2NN。
Client:客户端
● 文件切分。文件上传 HDFS 时,Client将文件切分成一个个的Block然后进行上传
● 与NameNode交互,获取文件的位置信息
● 与DataNode交互,读取或写入数据
● Client提供一些命令来管理HDFS,比如NameNode格式化
● Client可以通过一些命令来访问HDFS,比如对HDFS进行增删改查操作
2.4 、 HDFS 文件块
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数 dfs.blocksize 来规定(位于 hdfs-default.xml中), hadoop 2.x、hadoop 3.x 中默认大小是 128M,hadoop 1.x中默认大小是 64M。
数据块大小 128M,如果一个文件大小只有1kb,那么只会占用这个数据块中1kb大小的空间,剩余空间依然可以让其他文件进行占用。
最佳的文件块大小配置:机械硬盘的HDFS数据块最佳大小为128M,固态硬盘的HDFS数据块最大小为256M。
计算方式:
- 假设寻址时间为10ms,即查找到目标block的时间为10ms
- 根据实践,寻址时间为传输时间的 1% 时,系统为最佳状态。因此传输时间为 10ms / 0.01 = 1s。即花费10ms找到这个数据块,花费1s读完这个数据块的内容。
- 目前机械硬盘传输速度约 100M/s, 固态硬盘 200M/s - 300M/s
- 所以,对于机械硬盘:1s时间可以传输 100M数据,所以数据块设置为 128M 较为合适。对于固态硬盘,数据块大小设置为256M较为合适。
数据块大小设置规则:
● 如果数据块设置的太小,会增加寻址时间,程序一直在找块的开始位置
● 如果数据块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间,导致程序在处理这块数据时比较缓慢
2.5 、 HDFS特性
主从架构:
● HDFS 集群是标准的 master/slave 主从架构集群
● 一般一个HDFS集群是由一个 NameNode 和一定数量的 DataNode组成
● NameNode 是 HDFS主节点,DataNode是 HDFS 从节点,两种角色各司其职,共同协调完成分布式的文件存储服务
分块存储:
● HDFS中的文件在物理上是分块存储(block)的,默认大小是128M,不足128M则本身就是一块
● 块的大小可以通过配置参数来规定,参数位于 hdfs-site.xml中 dfs.blocksize
副本机制:
● 文件的所有block都会有副本,副本数量可以在文件创建时指定,也可以在之后通过命令改变
● 副本数由参数 dfs.replication 控制,默认值是 3。 也就是除了本身外,还会额外再复制2份。
元数据管理。
在HDFS中,NameNode管理的元数据分为两类:
● 文件自身属性信息:文件名称、权限、修改时间、文件大小、复制因子、数据块大小
● 文件块位置映射信息:记录文件块和DataNode之间的映射信息,即哪个块位于哪个节点上
namespace:
● HDFS支持传统的层次型文件组织结构。用户可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和Linux等大多数现有的文件系统类似
● NameNode负责维护文件系统的namespace名称空间,任何堆文件系统名称空间或属性的修改都将被namenode记录下来
● HDFS 会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件。例如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
数据块存储:
● 文件的各个block具体存储管理由DataNode节点承担
● 每一个block都可以在多个datanode上存储