from:http://www.aboutyun.com/thread-7437-1-1.html
(出处: about云开发)
数据块损坏,有很多同学想修复,但是不知道方法,首先我们看下面一段话:
从这里说明,假如你的数据块损坏了,假如你只有一个备份,你是不能恢复的。下面是模拟namenode宕机,数据块损坏实践。
在恢复的过程中,
1.通过什么方式来模拟宕机的?
2.都需要做哪些工作?
3.修改那些配置文件?
4.数据恢复的过程是什么?
namenode崩溃的数据恢复测试
前言
用second namenode 数据恢复测试。datanode由于采用2-3个备份,即使一台设备损坏,还是能自动恢复并找回全部数据。
hadoop 1.0.3和0.20之前的版本,namenode存在单点问题。如果namenode损坏,会导致整个系统数据彻底丢失。所以second namenode就显得特别重要。本文主要探讨namenode损坏的数据恢复实践,包括配置文件,部署,namenode崩溃,namenode数据损坏和namenode meta数据恢复。
用second namenode 数据恢复测试。datanode由于采用2-3个备份,即使一台设备损坏,还是能自动恢复并找回全部数据。
hadoop 1.0.3和0.20之前的版本,namenode存在单点问题。如果namenode损坏,会导致整个系统数据彻底丢失。所以second namenode就显得特别重要。本文主要探讨namenode损坏的数据恢复实践,包括配置文件,部署,namenode崩溃,namenode数据损坏和namenode meta数据恢复。
hadoop版本是hadoop1.0.3
一共三台机器参与测试。
机器角色:
一共三台机器参与测试。
机器角色:
1.编辑core-site,增加checkpoint相关配置
fs.checkpoint.dir 是恢复文件存放目录
fs.checkpoint.period 同步检查时间,缺省是3600秒1小时。测试时设为20秒。
fs.checkpoint.size 当edit 日志文件大于这个字节数时,即使检查时间没到,也会触发同步。
fs.checkpoint.dir 是恢复文件存放目录
fs.checkpoint.period 同步检查时间,缺省是3600秒1小时。测试时设为20秒。
fs.checkpoint.size 当edit 日志文件大于这个字节数时,即使检查时间没到,也会触发同步。
[zhouhh@Hadoop48 conf]$ vi core-site.xml
2.将second namenode设置到另一台机器。
2.将second namenode设置到另一台机器。
设置masters文件,这是指定seconde namenode启动的机器。
编辑dfs.secondary.http.address,指定second namenode的http web UI 域名或IP到namenode Hadoop48不同的机器Hadoop47,而不是缺省的0.0.0.0
[zhouhh@Hadoop48 conf]$ vi hdfs-site.xml
3.测试时如果name node指定的目录没有初始化,需初始化一下
[zhouhh@Hadoop48 logs]$ hadoop namenode -format
[zhouhh@Hadoop48 logs]$ hadoop namenode -format
4.同步conf下的配置到Hadoop47/46(略),启动hadoop
Namenode log报的error:
请不要急,NameNode会在开始启动阶段自动关闭安全模式,然后启动成功。如果你不想等待,可以运行:
请不要急,NameNode会在开始启动阶段自动关闭安全模式,然后启动成功。如果你不想等待,可以运行:
bin/hadoop dfsadmin -safemode leave 强制结束。
NameNode启动时会从fsimage和edits日志文件中装载文件系统的状态信息,接着它等待各个DataNode向它报告它们各自的数据块状态,这样,NameNode就不会过早地开始复制数据块,即使在副本充足的情况下。这个阶段,NameNode处于安全模式下。NameNode的安全模式本质上是HDFS集群的一种只读模式,此时集群不允许任何对文件系统或者数据块修改的操作。通常NameNode会在开始阶段自动地退出安全模式。如果需要,你也可以通过’bin/hadoop dfsadmin -safemode’命令显式地将HDFS置于安全模式。NameNode首页会显示当前是否处于安全模式。
NameNode启动时会从fsimage和edits日志文件中装载文件系统的状态信息,接着它等待各个DataNode向它报告它们各自的数据块状态,这样,NameNode就不会过早地开始复制数据块,即使在副本充足的情况下。这个阶段,NameNode处于安全模式下。NameNode的安全模式本质上是HDFS集群的一种只读模式,此时集群不允许任何对文件系统或者数据块修改的操作。通常NameNode会在开始阶段自动地退出安全模式。如果需要,你也可以通过’bin/hadoop dfsadmin -safemode’命令显式地将HDFS置于安全模式。NameNode首页会显示当前是否处于安全模式。
5.编辑放置测试文件
6. 放到HDFS中
7 杀死Namenode,模拟崩溃
8. 将dfs.name.dir下的内容清空,模拟硬盘损坏
采用改名的方式进行测试
[zhouhh@Hadoop48 dfs]$ mv name name1
此时,name 目录不存在,namenode是会启动失败的
采用改名的方式进行测试
[zhouhh@Hadoop48 dfs]$ mv name name1
此时,name 目录不存在,namenode是会启动失败的
9.数据恢复,从second namenode 复制数据
查看second namenode文件,并打包复制到namenode的fs.checkpoint.dir
如果dfs.name.dir配置的name不存在,需创建name目录(我测试时将其改名了,也可以进入name目录用rm * -f)
[zhouhh@Hadoop48 dfs]$ mkdir name
[zhouhh@Hadoop48 dfs]$ mkdir name
[zhouhh@Hadoop48 dfs]$ hadoop namenode -importCheckpoint
此时name下面已经有数据
Ctrl+C 结束
此时name下面已经有数据
Ctrl+C 结束
10.恢复成功,检查数据正确性
恢复成功