欲实现海量数据的计算,必先解决海量数据的存储问题(分布式文件系统Distributed Filesystem)
数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。
dfs是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
通透性。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。
容错。即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失。
分布式文件管理系统很多,hdfs只是其中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。
HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。
HDFS组成:
NameNode:管理---存储元数据信息
维护整个文件的文件目录树,文件/目录的元信息和每个文件对应的数据块列表,接受用户的操作请求
fsimage:元数据镜像文件,存储某一时段NameNode内存元数据信息
edits:操作日志文件
fstime:保存最近一次checkpoint的时间,最近一次还原点的时间
NameNode的工作特点:
始终在内存中保存metedata(元数据信息),用于处理读请求
有写请求时候,会先写editlog到磁盘(写日志),成功返回后,才会修改内存,并向客户端返回
会维护一个fsimage文件,也就是namenode的元数据镜像,会通过合并edits文件来更新内容,secondary namenode就是用来合并fsimage和edit文件来更新Namenode的元数据
Datanode:实际存储被分块的数据
文件块:1.0默认是64M,2.0默认是128M,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。
数据块备份,默认复制三个(副本)。
secondary NameNode:协助namenode完成工作(不是热备)1.0版本及伪分布式才有
Ha的一个解决方案,但不支持热备
从NameNode上下载元数据信息(fsimage,edits),然后将二者合并,生成新的fsimage,并在本地保存,并将器推送到NameNode,替换旧的fsimage。
合并的流程:通知切换,下载,合并,发回,替换
合并的触发:1,时间(3600秒) 2,edit文件的大小(默认64M)
RPC——远程过程调用协议(hadoop的整个体系结构就是构建在RPC之上的)
HDFS读文件的过程:
1.初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件
2.FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。
3.FileSystem返回FSDataInputStream给客户端,用来读取数据,客户端调用stream的read()函数开始读取数据。
4.DFSInputStream连接保存此文件第一个数据块的最近的数据节点,data从数据节点读到客户端(client)
5.当此数据块读取完毕时,DFSInputStream关闭和此数据节点的连接,然后连接此文件下一个数据块的最近的数据节点。
6.当客户端读取完毕数据的时候,调用FSDataInputStream的close函数。
7.在读取数据的过程中,如果客户端在与数据节点通信出现错误,则尝试连接包含此数据块的下一个数据节点。
8.失败的数据节点将被记录,以后不再连接。
HDFS写文件的过程:
1.初始化FileSystem,客户端调用create()来创建文件
2.FileSystem用RPC调用元数据节点,在文件系统的命名空间中创建一个新的文件,元数据节点首先确定文件原来不存在,并且客户端有创建文件的权限,然后创建新文件。
3.FileSystem返回DFSOutputStream,客户端用于写数据,客户端开始写入数据。
4.DFSOutputStream将数据分成块,写入data queue。data queue由Data Streamer读取,并通知元数据节点分配数据节点,用来存储数据块(每块默认复制3块)。分配的数据节点放在一个pipeline里。Data Streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。
5.DFSOutputStream为发出去的数据块保存了ack queue,等待pipeline中的数据节点告知数据已经写入成功。
6.当客户端结束写入数据,则调用stream的close函数。此操作将所有的数据块写入pipeline中的数据节点,并等待ack queue返回成功。最后通知元数据节点写入完毕。
7.如果数据节点在写入的过程中失败,关闭pipeline,将ack queue中的数据块放入data queue的开始,当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示,则错误节点重启后能够察觉其数据块是过时的,会被删除。失败的数据节点从pipeline中移除,另外的数据块则写入pipeline中的另外两个数据节点。元数据节点则被通知此数据块是复制块数不足,将来会再创建第三份备份。
HDFS的java访问接口——FileSystem
create:创建文件;
open:读取文件;
delete:删除文件;
mkdirs:创建目录;
delete:删除文件或者目录;
listStatus:列出目录的内容;
getFileStatus:显示文件系统的目录和文件的元数据信息;
HDFS的shell命令:
hdfs dfs =hadoop fs
选项名称 | 使用格式 | 含义 |
-ls | -ls<路径> | 查看指定目录的当前目录结构 |
-lsr | -lsr<路径> | 递归查看指定路径的目录结构 |
-du | -du<路径> | 统计目录下文件大小 |
-dus | -dus<路径> | 汇总统计目录下文件(夹)大小 |
-count | -count[-q]<路径> | 统计文件夹数量 |
-mv | -mv<源路径><目的路径> | 移动 |
-cp | -cp<源路径><目的路径> | 复制 |
-rm | -rm[-skipTrash]<路径> | 删除文件或者空白文件夹 |
-rmr | -rmr[-skipTrash]<路径> | 递归删除 |
-put | -put[多个linux上的文件><hdfs路径> | 上传文件 |
-copyFromLocal | -copyFromLocal<多个linux上的文件><hdfs路径> | 从本地复制 |
-moveFromLocal | -moveFromLocal<多个linux上的文件><hdfs路径> | 从本地移动 |
-getmerge | -getmerge<源路径><linux路径> | 合并到文件 |
-cat | -cat<hdfs文件内容> | 查看文件内容 |
-text | -text<hdfs文件内容> | 查看文件内容 |
-copyToLocal | -copyToLocal[-ignoreCrc][-crc][hdfs源路径][linux目的路径] | 从本地复制 |
-moveToLocal | -moveToLocal [-crc] <hdfs 源路径> <linux目的路径> | 从本地移动 |
-mkdir | -mkdir<hdfs路径> | 创建空白文件夹 |
-setrep | -setrep[-r][-w]<副本数><路径> | 修改副本文件 |
-touchz | -touchz<文件路径> | 创建空白文件 |
-stat | -stat[format]<路径> | 显示文件统计信息 |
-tail | -tail[-f]<文件> | 查看文件尾部信息 |
-chmod | -chmod[-R]<权限模式>[路径] | 修改权限 |
-chown | -chown[-R][属主][:[属组]]路径 | 修改属主 |
-chgrp | -chgrp[-R] 属组名称 路径 | 修改属组 |
-help | -help [命令选项] | 帮助 |