第124讲:Hadoop集群管理之fsimage和edits工作机制内幕详解学习笔记

124讲:Hadoop集群管理之fsimageedits工作机制内幕详解学习笔记

客户端对hdfs进行写文件时会首先被记录在edits文件中。

edits修改时元数据也会更新。

每次hdfs更新时edits先更新后客户端才会看到最新信息。

fsimage:namenode中关于元数据的镜像,一般称为检查点。

一般开始时对namenode的操作都放在edits中,为什么不放在fsimage中呢?

因为fsimagenamenode的完整的镜像,内容很大,如果每次都加载到内存的话生成树状拓扑结构,这是非常耗内存和CPU

内容包含了namenode管理下的所有datanode中文件及文件blockblock所在的datanode的元数据信息。随着edits内容增大,就需要在一定时间点和fsimage合并。

合并过程:

 

完成合并的是secondarynamenode,会请求namenode停止使用edits,暂时将新写操作放入一个新的文件中(edits.new)secondarynamenodenamenode中通过http get获得edits,因为要和fsimage合并,所以也是通过http get 的方式把fsimage加载到内存,然后逐一执行具体对文件系统的操作,与fsimage合并,生成新的fsimage,然后把fsimage发送给namenode,通过http post的方式。namenodesecondarynamenode获得了fsimage后会把原有的fsimage替换为新的fsimage,edits.new变成edits。同时会更新fstime

hadoop进入安全模式时需要管理员使用dfsadminsave namespace来创建新的检查点。

secondarynamenode在合并editsfsimage时需要消耗的内存和namenode差不多,所以一般把namenodesecondarynamenode放在不同的机器上。

fs.checkpoint.period: 默认是一个小时(3600s)

fs.checkpoint.size:  edits达到一定大小时也会触发合并(默认64MB)

 

 

 

以上内容是从王家林老师DT大数据课程第124讲的学习笔记。
DT大数据微信公众账号:DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号:18610086859
 王家林的第一个中国梦:免费为全社会培养100万名优秀的大数据从业人员!
您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+O2O、工业4.0、微营销、移动互联网等系列免费实战课程, 目前已经发布的王家林免费视频全集如下:

1,《大数据不眠夜:Spark内核天机解密(共100讲)》: http://pan.baidu.com/s/1eQsHZAq

2,《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu 

3,《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1jGpNGwu 

4,《Scala深入浅出实战经典》http://pan.baidu.com/s/1sjDWG25 

5,《Docker公益大讲坛》http://pan.baidu.com/s/1kTpL8UF 

6,《Spark亚太研究院Spark公益大讲堂》http://pan.baidu.com/s/1i30Ewsd 

7DT大数据梦工厂SparkScalaHadoop的所有视频、PPT和代码在百度云网盘的链接:

http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group 

王家林免费在51CTO发布的1000集合大数据sparkhadoopscaladocker视频: 

1,《Scala深入浅出实战初级入门经典视频课程》http://edu.51cto.com/lesson/id-66538.html 

2,《Scala深入浅出实战中级进阶经典视频课程》http://edu.51cto.com/lesson/id-67139.html 

3,《Akka深入浅出实战经典视频课程》http://edu.51cto.com/lesson/id-77672.html 

4,《Spark亚太研究院决胜大数据时代公益大讲堂》http://edu.51cto.com/lesson/id-30815.html 

5,《云计算Docker虚拟化公益大讲坛 》http://edu.51cto.com/lesson/id-61776.html 

6,《Spark 大讲堂(纯实战手动操作)》http://edu.51cto.com/lesson/id-78653.html 

7,《Hadoop深入浅出实战经典视频课程-集群、HDFSYarnMapReducehttp://edu.51cto.com/lesson/id-77141.html 

8,《从技术角度思考Hadoop到底是什么》http://edu.51cto.com/course/course_id-1151.html 

 

DT大数据梦工厂”团队第一个中国梦:免费为社会培养100万名优秀的大数据从业人员。每天早上4点起持续分享大数据、互联网+O2O、工业4.0、微营销、移动互联网等领域的

 

第124讲视频网站地址:

51CTO

http://edu.51cto.com/lesson/id-77860.html

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值