小白看架构 · HDFS1.0架构

HDFS,是一个分布式文件存储系统。那我们自然可以去联想比如fastdfs等我们java领域的分布式文件系统。大概是下面这样子的,那么HDFS

有什么区别呢?为什么就能在大数据领域成为一个不可或缺的基础组件呢?

小白网上搜索了很多关于HDFS的设计理念和优点。如下:

首先肯定是支持超大数据集,几十亿的数据,通过分布式存储,分散到多台机器上去,妥妥的没毛病。

高可用性,大数据需要大量的机器去承载数据,一般都会采用普通的服务器去集群部署,是机器就会故障,更不用说不是那种专业的商用数据服务器了。HDFS可以自动探查到集群中的某个机器故障了,会自动进行故障恢复。

流式数据处理,大概意思就是基于流的形式来读写数据,保证高吞吐量的读写。

简化的一致性模型,一次写入,多次读。没有读写冲突,一致性也不需要额外维护。一个文件只有一次写入,之后只能追加,不能随便修改之前的数据。

尽量移动计算,不要移动数据。通过MapReduce或者其他计算框架计算时,尽可能是让计算任务靠近数据,而不要通过网络去移动传输数据。

        HDFS的架构是什么样子呢?常见的有主从架构,master-slave模式。这里就要介绍一下概念,首先NameNode,一个jvm进程,一个集群只有一个,可以看成是master,是整个集群的中心指挥官,其实就是文件命名空间,文件目录的形式,/a/b/c,可以通过目录去对应文件。这里有一个block的概念,一个大的文件最终存储到硬件上会分成几个块,比如1G,分成8块,每块128M,可能会存储到机器1,机器2,或者更多。

       DataNode,运行在每一台要存储数据的机器上,对这台机器上存储的文件数据进行交互,管理。负责管理一个文件最终存储到本机器的具体的一个或多个块,block1,block3,可能还有一个block2在其他机器上。

       那么,当你想要查找某个文件的时候,就可以问NameNode,他在哪里?NameNode就告诉你这个文件有几个块,分别在哪几台机器上。那么你就可以去和这几台机器通信,获取对应的文件块。

       我们再来看看NameNode里面的元数据这个概念,元数据,包括文件目录结构,以及目录结构下有哪些文件,每个文件有几个block,各个block存储在哪一台DataNode机器上,基本这些构成了元数据,存储在NameNode机器的内存中,当然还有些文件权限,文件限制等元数据。这是一种文件系统的层级目录,目录->子目录->文件,所以我们可以创建目录,创建文件,读写文件,像我们操作文件一样。而且hadoop里面我们通过Linux的很多命令都可以进行操作,hadoop fs -mkdir -p /usr/local/1.txt 这个就是创建目录和文件。hadoop fs -put 文件 就是上传文件,等等。

       那么,当我们的客户端进行各个文件操作的时候,肯定会对元数据进行操作和修改,这里的元数据是就是都交给NameNode进行管理的。NameNode里有一个概念叫做EditLog。编辑操作日志,当你操作一次文件,就记录一条日志,每一条日志都会写到磁盘中持久化。一条条日志可以还原出整个文件目录层级。还有个概念叫做FsImage。所有的目录结构,文件和DataNode,Block的映射关系。这些会完整地存储到FsImage里面,并且FsImage是存储在磁盘文件上,持久化存储。

       NameNode在内存中维护着一份元数据,所有的读写操作都是操作的内存,这样子会有很高的性能。然后每隔一段时间,执行一个叫做Checkpoint操作,这里的间隔时间是可以配置的,会读取磁盘里所有的EditLog文件,全部都还原到内存中一个FsImage缓存,然后将FsImage重新写入到磁盘中,并且将EditLog都清理掉。

每次NameNodeode启动的时候也会读取FsImage文件和EditLog文件去下载一份缓存到内存中。

        那么hadoop到底是怎么通过fsimage和EditLog来实现元数据的管理存储机制呢?hadoop1.x时候,NameNode启动,将fsImage读入内存,根据EditLog一条条还原元数据到最新状态,将最新的fsimage写入磁盘文件,接着清空掉EditLog。紧接着,NameNode不断修改元数据,直接修改内存中的元数据,并且将变更日志记录到EditLog中去。并且为了防止EditLog变得越来越大,定时做checkpoint,将最新的元数据fsimage写入到磁盘,清除掉EditLog。

       还有个问题就是定时做checkpoint操作,将editLog和fsimage合并,会有很多读写,很消耗性能和时间,这时就有一个一个架构方案,引入了Secondary NameNode系统组件。一般它部署在一台新的机器上,专门在后台做checkpoint操作,每隔一段时间,通知NameNode先不要写EditLog,可以暂时写一个newEditlog,然后拉取NameNode的EditLog和FsImage到本地,进行合并,写一份新的fsimage到磁盘。然后将最新的fsimage推送到NameNode上,同时呢,NameNode也会将NewEditLog改为Editlog。Secondary NameNodeameNode也是NameNode的一个冷备份。如果NameNode挂掉了,最多损失checpoint之后一些元数据变更,大部分元数据还在fsImage在Secondary NameNod上有一份存储着。一般一小时一次或者EditLog大小超过64MB,就会执行一次。紧接着,又出现了了一个checkpoint Node 其实就和Secondary NameNode一样,做同样的操作。

  紧接着还出现了一种架构,就是Backup Node,出现的初衷也是为了checkpoint Node那种下载EditLog和fsimage进行合并的思路。backupNode是什么思路呢?backupNode就是在内存中放入一份和NameNode一样的fsImage数据,同时还接受NameNode传输过来的EditLog流,然后写入到自己本地。同时将EditLog应用到内存的fsimage中。backupNode还会定时做checkpoint操作,将内存中的数据写到磁盘上fsimage文件,覆盖老的fsimage,将EditLog清空。

       这些就是小白学到的HDFS1.0的架构。不过现在HDFS3.0都出来了,小白还要再接再厉,继续努力学习。文中有错误的地方欢迎碧友们指出来,谢谢。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值