如何加快Hadoop集群二次启动的速度(SecondaryNamenode工作原理)

前提:不使用SNN,日志文件会很大,日志大会导致集群恢复到上次关机前的状态花费很长时间,这个时候集群处于
安全模式,集群不可用。长时间处于安全模式。

目标:加快集群二次启动的速度。(减少集群二次启动的时间)

SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机(SecondaryNamenode本机),将两个
文件进行合并,最终生成全新的Fsimage,将最新的Fsimage发送回Namenode 。

意义:辅助NameNode合并Fsimage Edits.减小了日志的大小,加快了集群的二次启动速度。

在这里插入图片描述

SecondaryNamenode自己独立部署在有一个节点上。此节点的配置要与NameNode相同。
什么时候进行文件拷贝合并

1 dfs.namenode.checkpoint.period :3600
默认情况下 一小时合并一次

2、dfs.namenode.checkpoint.txns :1000000
100W次集群操作,进行一次合并

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值