一、HDFS(数据存储)架构概述
1.1HDFS产生背景
随着数据量越来越大,在一个操作系 统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器 上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.2HDFS定义
HDFS (Hadoop Distibuted File System),它是一个文件系统,
用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多
服务器联合起来实现其功能,集群中的服务器有各自的角色。
HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。
适合用来做数据分析,并不适合用来做网盘应用。
1.3HDFS的优缺点
1)高容错性
(1)数据自动保存多个副本。它通过增加副本的形式,提高容错性
(2)某个副本丢失以后它可以自动恢复
2)适合处理大数据
(1)数据规模:能够处理数据规模达到GB、TB、 甚至PB级别的数据;
(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。
3)可构建在廉价机器上,通过多副本机制,提高可靠性。
1.4HDFS的缺点
1)不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。
2)无法高效的对大量小文件进行存储。
(1)存储大量小文件的话,它会占用N ameNode大量的内存来存储文件目录和块信息。
这样是不可取的,因为NamneNode的内存总是有限的;
(2)小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。
3)不支持并发写入、文件的随机修改
二、HDFS的构成架构
1.NameNode: 就是Master,它是一个主管,管理者。
(1) 管理hdfs的名称空间。
(2)配置副本策略。
(3)管理数据块(block)的映射信息。
(4) 处理客户端读写请求。
2. DataNode:就是slave。NameNode下达命令,DataNode执行实际的操作。
(1) 存储实际的块数据。
(2) 执行块数据的读写操作。
3. Client: 就是客户端。
(1))文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,
(2)与NameNode交互,获取文件的位置信息;
(3)与DataNode交互,读取或者写入数据;
(4)Client 提供一些命令来管理HDFS,比如NameNode格式化;
(5) Client可以通过一些命令来访问HDFS,比如对HDFS增删查改操作;
,,
4.Secondary NameNode:并习即ameNode的热备。当NameNode挂掉的时候不能马上替换NameNode并提供服务。
(1)辅助NameNode,分担其工作量,比如定期和平Fsimage和Edits,并推送给NameNode:
(2)在紧急情况下,可辅助恢复NameNode。
5.HDFS文件块大小。
hdfs中的文件在物理上是分块存储的(block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在hadoop2.0中是128M,老版本中是64M。
1. 例如有一个集中的block块
2. 如果寻址时间为10ms,就是查找到目标的block是10ms.
3. 寻址的时间为传输时间的1%时,则是最佳状态。因此。传输时间=10ms/0.01=1000ms=1s
4. 而目前磁盘的传输速度普遍为100MB/S
5. block大小=1s*100mb/s=100mb
5.1 为什么块的大小不能设置太小
1.hdfs的块设置的太小,会增加寻址时间,程序一直在找块的开始位置。
2 如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这个块数据时,会非常慢。
-----hdfs块的大小设置主要取决于磁盘传输速率。
三、Namenode和SecondaryNamenode的工作机制
1.第一阶段: NameNode启动
(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次
动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3) NameNode记录操作日志,更新滚动日志。(4)NameNode在内存中对元数据进行增删改。
2.第二阶段: Secondary NameNode工作
(1) Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
(2) Secondary NameNode请求执行CheckPoint.
(3) NameNode滚动正在写的Edits日志。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5) Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
(6)生成新的镜像文件fsimage .chkpoint.
(7)拷贝fsimage chkpoint到NameNodeo
(8) NameNode将fsimage .chkpoint,重新命名成fsimage o
四、DataNode工作机制
1)一个数据块在DataNode. 上以文件形式存储在磁盘上,包括两个文件,-一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
2) DataNode 启动后向NameNode往册,通过后,周期性(1 小时)的向NameNode上报所有的块信息。
3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到
某个DataNode的心跳,则认为该节点不可用。
4)集群运行中可以安全加入和退出一些机器。