数据恢复技术与LVM数据恢复方法 | |
1 摘要
随着计算机网络应用的发展,数据存储的安全性变的越来越重要。在常见的基于RAID和LVM的环境下面,当出现硬盘故障或者错误操作导致数据丢失的情况下,采用适当的数据恢复策略可以在很大程度上提供数据恢复的成功概率。本文研究了几种情况下的数据恢复技术和方法,为数据恢复和数据安全的预防提供了指导。
2 数据恢复需求
2.1 Linux IO存储栈
图(1)Linux IO 存储栈
Linux 的存储相关的栈包括如图1所示,最下方为各种硬件存储器,例如SATA,SAS,SSD等硬盘和磁带库等。
2.2 存储故障2.2.1 介质故障
2.2.2 错误操作
包括误删除,格式化,重新分区等操作。
2.2.3 RAID故障
服务器上的硬盘比较多的应用了RAID(冗余磁盘阵列)来实现数据保护。以多块硬盘环境下常使用的RAID 5为例,当损坏一块硬盘时数据不会受到影响,而这种情况下如果第二块硬盘再损坏(或者更换硬盘时拔错)就会丢失数据。此时要注意硬盘掉线的先后顺序,如果将2块硬盘同时上线则会导致部分数据访问出错,正确的方法是先上线最后出问题的硬盘,看数据是不是我们想要的,再尝试之前掉线的硬盘进行比较。
有些RAID卡在插入掉线的硬盘时会自动尝试Rebuild(重建),这样就会损坏我们需要的数据,因此企业级数据恢复最好还是找专业的公司/人士来进行。有的RAID卡还会出现硬盘完好,而RAID信息丢失的问题。如果用户在运输服务器/磁盘阵列时,将硬盘拆出来单独运输,没有记录安装的顺序,也可能会导致数据无法访问。
2.2.4 文件或者文件系统故障
这部分属于高端的数据恢复技术,比如ext2、ext3、reiserfs、XFS…文件系统。Linux/Unix的数据恢复难度较大一方面是由于这些文件系统结构复杂,另一方面则是有些厂商的相关资料不公开,比如IBM的AIX系统。这样我们只能通过不断的摸索,积累经验来“破解”它们的结构,最终能够恢复上面的数据,或者提取出修改文件(属性)的访问记录等。
2.3 存储部署对数据丢失的考虑
3 数据恢复策略3.1 数据恢复基本步骤
由于存储故障是无法完全避免的,在出现故障的时候,需要考虑如下的几个基本策略和步骤:
3.2 数据恢复方法3.2.1 硬件故障处理
3.2.2 磁盘分区故障
3.2.3 RAID故障
3.2.4 元数据
元数据是指数据的组织结构。通常,有两种方式存储:
(1)在磁盘上,通常在硬盘的最前面或者最后面预留扇区用于存储元数据
(2)在配置文件中保存必要的信息
在执行数据恢复的时候,通常需要先修复元数据再修复数据。
4 LVM数据恢复4.1 LVM基础4.1.1 LVM的架构
图(2)LVM基础架构
如果所示为Linux Volume Management系统的基础架构,由PV,VG和LV组成。
4.1.2 LVM的on-disk PV结构
PV的基本结构如下:
(1)标签,占用一个sector,包括签名,UUID,元数据的位置指针
(2)元数据:占用多个sector
a)
真正元数据的指针
b)
循环缓存,文本格式
c)
原子更新操作
d)
序列号
e)
校验码,冗余信息,自动修复信息等
图(3)LVM的PV结构
4.1.3 LVM的文本元数据配置
如下为一个/etc/lvm/backup/pool的配置实例:
4.1.4 LVM元数据备份
LVM元数据通过默认备份在/etc/lvm目录下,可以通过工具vgcfgbackup和vgcfgrestore命令备份和恢复元数据。
4.2 LVM PV故障的修复实例4.2.1 部分修复
# vgscan
Reading all physical volumes. This may take a while...
Couldn't find device with uuid 'DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
Found volume group "vg_test" using metadata type lvm2
#pvs -o +uuid
Couldn't find device with uuid 'DhmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
PV VG Fmt Attr PSize PFree PV UUID
/dev/sdb vg_test lvm2 a- 200.00m 0 5KjGmZ-vhc6-u62q-YcSZ-aKX0-bCYP-EXtbzd
unknown device vg_test lvm2 a- 200.00m 0 DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp
# lvs -o +devices
Couldn't find device with uuid 'DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
LV VG Attr LSize Devices
lv1 vg_test -wi--- 100.00m /dev/sdb(0)
lv2 vg_test -wi--- 100.00m unknown device(0)
lv3 vg_test -wi--- 200.00m /dev/sdb(25)
lv3 vg_test -wi--- 200.00m unknown device(25)
在这种情况下,lv1正常,lv2丢失,lv3部分丢失
# vgchange -a y vg_test
Couldn't find device with uuid 'DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
Refusing activation of partial LV lv2. Use --partial to override.
Refusing activation of partial LV lv3. Use --partial to override.
1 logical volume(s) in volume group "vg_test" now active
对应—partial 参数,丢失的部分使用配置/etc/lvm.conf中的Missing_stripe_filler=”error” 指定的设备来补充
准备zero设备
# dmsetup create zero_missing --table "0 10000000 zero"
missing_stripe_filler = "/dev/mapper/zero_missing"
# vgchange -a y vg_test --partial
...
3 logical volume(s) in volume group "vg_test" now active
# vgreduce --removemissing vg_test
Couldn't find device with uuid 'DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
WARNING: Partial LV lv2 needs to be repaired or removed.
WARNING: Partial LV lv3 needs to be repaired or removed.
WARNING: There are still partial LVs in VG vg_test.
To remove them unconditionally use: vgreduce --removemissing --force.
Proceeding to remove empty missing PVs.
# vgreduce --removemissing vg_test --force
Couldn't find device with uuid 'DhmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp'.
...
Wrote out consistent volume group vg_test
# pvs
PV VG Fmt Attr PSize PFree
/dev/sdb vg_test lvm2 a- 200.00m 100.00m
# lvs -o +devices
LV VG Attr LSize Devices
lv1 vg_test -wi--- 100.00m /dev/sdb(0)
4.2.2 通过备份恢复
如果在某些情况下,
# vgscan
Reading all physical volumes. This may take a while...
WARNING: Inconsistent metadata found for VG vg_test - updating to use version 18
Removing PV /dev/sdc (DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp) that no longer belongs
to VG vg_test
Found volume group "vg_test" using metadata type lvm2
# pvs
PV VG Fmt Attr PSize PFree
/dev/sdb vg_test lvm2 a- 200.00m 100.00m
/dev/sdc lvm2 -- 204.00m 204.00m
# vgcfgrestore -f /etc/lvm/archive/vg_test_01564.vg vg_test
Cannot restore Volume Group vg_test with 1 PVs marked as missing.
Restore failed.
手工修改配置
...
pv1 {
id = "DHmMDP-bqQy-TalG-2GLa-sh6o-fyVW-3XQ3gp"
device = "unknown device"
flags = ["MISSING"]
...
# vgcfgrestore -f vg_test_edited.vg vg_test
Restored volume group vg_test
5 小结
本文分析了存储故障参数的原因,提出了数据恢复的测试和实施步骤,并且针对常见的LVM的故障,分析了LVM的架构和元数据的组织结构,最后给出了LVM故障的常见修复方法和实例分析。
但是,数据恢复本身只是在出现存储故障之后的修补措施,修复成功的可能性也不是100%。因此,在部署存储系统的时候,考虑冗余和备份是提高数据安全性的更好的版本。
|
LVM 移機備忘
其實工廠主機又變快了.....好像常常看到我再給他加速.....以前一直傳聞說一台爛爛的linux主機跑個apache都可以很順暢,前幾天換了主機才知道這傳聞根本.....,主機的效能明顯還是受到CPU和硬碟讀取速度的影響。感覺前一句好像廢話一樣,但是我是在舊主機一直調整下,相信傳聞是真實的狀態下一直調,還是調不出一個好結果,常常被裕藍的老闆吐槽網站那麼慢.....
其實移機基本不難,檔案形式的複製一下就好,我比較擔心的是三顆硬碟組成的LVM,因為沒有其他空間把160G的檔案移出了,只好硬著頭皮嘗試直接把三顆硬碟直接移到另一台主機,依靠著一個小小的config檔,沒有過的經驗的確令人緊張,深怕轉移失敗資料都消失哩。
產生LVM的conf檔其實很簡單
# vgcfgbackup
Volume group "homeVG" successfully backed up.
設定檔會產生出來在/etc/lvm/backup/homeVG,就依靠著個檔案定生死哩,來還原囉!!
# vgcfgrestore -f /etc/lvm/backup/homeVG -n homeVG homeVG
結果當然是成功~有哩經驗之後,以後就會大膽的作哩!!
备份
每次修改lvm会自动在/etc/lvm/backup下备份lvm的元数据信息
某个pv损坏:
pvcreate --restorefile /etc/lvm/backup/test --uuid 2QI12V-AhFi-hd0r-Nn2e-LCrm-b3Of-leI0Nv /dev/hda6 vgcfgrestore --file /etc/lvm/backup/test test
分区表备份:
sfdisk -d /dev/sdd > sdd-table ===> 导出正常的分区表 sfdisk /dev/sdb < sdb-table ===> 恢复丢失的分区表 |
- [root@localhost lvm]# vgcfgrestore -f /etc/lvm/backup/data -t /dev/sda3
- Test mode: Metadata will NOT be updated.
- Couldn't find device with uuid h6t9V2-Oi08-F5kw-U2G5-vRDW-1WdJ-1awgnU.
- '/etc/lvm/backup/data' does not contain volume group 'sda3'.
- Restore failed.
- [root@localhost lvm]# pvcreate -u h6t9V2-Oi08-F5kw-U2G5-vRDW-1WdJ-1awgnU --restorefile /etc/lvm/archive/data_00002.vg /dev/sda3
- Couldn't find device with uuid h6t9V2-Oi08-F5kw-U2G5-vRDW-1WdJ-1awgnU.
- Physical volume "/dev/sda3" successfully created
- [root@localhost lvm]# vgcfgrestore data
- Restored volume group data
- [root@localhost lvm]# vgscan && vgscan && lvscan
- Reading all physical volumes. This may take a while...
- Found volume group "data" using metadata type lvm2
- Found volume group "vg_localhost" using metadata type lvm2
- Reading all physical volumes. This may take a while...
- Found volume group "data" using metadata type lvm2
- Found volume group "vg_localhost" using metadata type lvm2
- inactive '/dev/data/ftproot' [70.00 GiB] inherit
- ACTIVE '/dev/vg_localhost/lv_root' [21.55 GiB] inherit
- ACTIVE '/dev/vg_localhost/lv_swap' [1.97 GiB] inherit
- You can now display the logical volumes.
- [root@localhost ~]# lvs -a -o +devices
- LV VG Attr LSize Origin Snap% Move Log Copy% Convert Devices
- ftproot data -wi--- 70.00g /dev/sda3(0)
- lv_root vg_localhost -wi-ao 21.55g /dev/sda2(0)
- lv_swap vg_localhost -wi-ao 1.97g /dev/sda2(5518)
- [root@link-07 backup]# lvchange -ay /dev/VG/stripe
- [root@localhost ~]# lvchange -ay /dev/data/ftproot
- [root@localhost ~]# lvs -a -o +devices
- LV VG Attr LSize Origin Snap% Move Log Copy% Convert Devices
- ftproot data -wi-a- 70.00g /dev/sda3(0)
- lv_root vg_localhost -wi-ao 21.55g /dev/sda2(0)
- lv_swap vg_localhost -wi-ao 1.97g /dev/sda2(5518)
- [root@localhost ~]# mount -t ext4 /dev/data/ftproot /work/
- mount: wrong fs type, bad option, bad superblock on /dev/mapper/data-ftproot,
- missing codepage or helper program, or other error
- In some cases useful info is found in syslog - try
- dmesg | tail or so
- [root@localhost ~]# dmesg | tail -10
- RPC: Registered tcp transport module.
- RPC: Registered tcp NFSv4.1 backchannel transport module.
- SELinux: initialized (dev rpc_pipefs, type rpc_pipefs), uses genfs_contexts
- SELinux: initialized (dev autofs, type autofs), uses genfs_contexts
- SELinux: initialized (dev autofs, type autofs), uses genfs_contexts
- SELinux: initialized (dev autofs, type autofs), uses genfs_contexts
- eth3: no IPv6 routers present
- eth1: no IPv6 routers present
- EXT4-fs (dm-2): VFS: Can't find ext4 filesystem
至此,lvm是恢复了,但文件系统看样子是没有办法恢复了。参考“ext3 文件系统超级块损坏的修复”对ext4不起作用,我觉得对ext3/ext2估计都差不多。
事打电话询问LVM故障的处理办法,其实我对LVM也是一知半解,只是恰好在用户现场解决过几次有关LVM的故障。
这次故障的发生是因为不小心,把grub的信息写入到了阵列设备上,而阵列设备是用来做LVM的,导致的结果是pvscan可以得到pv信息,lvscan也能得到lv信息,但是 vgscan却不能。 使用vgcfgrestore命令恢复后,正常了。为了重现用户的现象,我做了另外一个实验,不是vg信息找不到,而是找不到对应 uuid号的设备,过程如下:
创建pv,vg,lv
[root@lancy ~]# pvcreate /dev/mdp0 Physical volume "/dev/mdp0" successfully created [root@lancy ~]# vgcreate vg01 /dev/mdp0 Volume group "vg01" successfully created [root@lancy ~]# lvcreate -n lv01 -L+200M vg01 Logical volume "lv01" created [root@lancy ~]# mkfs.ext3 /dev/mapper/vg01-lv01 -m 0 [root@lancy ~]# mount /dev/mapper/vg01-lv01 /misc [root@lancy ~]# cp mdadm-2.5.2-1.i386.rpm /misc/ [root@lancy ~]# umount /misc
2)做一个破坏者
[root@lancy ~]# dd if=/dev/zero of=/dev/mdp0 bs=512 count=3 3+0 records in 3+0 records out 1536 bytes (1.5 kB) copied,7.6469e-05 秒,20.1 MB/秒 [root@lancy ~]# pvscan No matching physical volumes found [root@lancy ~]# vgscan Reading all physical volumes. This may take a while... No volume groups found pv,vg,lv都找不到了,但是vg01-lv01这个设备还是存在的,而且也能mount。不过估计重启后就找不到了。于是恢复。
尝试老办法
[root@lancy ~]# vgcfgrestore -f /etc/lvm/backup/vg01 -n vg01 -t /dev/mdp0 Test mode: Metadata will NOT be updated. Couldn't find device with uuid 'fPsp4D-aaxu-YMGZ-gqGn-sbUq-fZE0-YnCbwz'. Couldn't find all physical volumes for volume group vg01. Restore failed.
看来vgcfgrestore不是万能的,怎么办?
重写uuid
[root@lancy bin]# pvcreate –uuid fPsp4D-aaxu-YMGZ-gqGn-sbUq-fZE0-YnCbwz –restorefile /etc/lvm/archive/vg01_00001.vg /dev/mdp0 Couldn’t find device with uuid ‘fPsp4D-aaxu-YMGZ-gqGn-sbUq-fZE0-YnCbwz’. Physical volume “/dev/mdp1” successfully created [root@lancy bin]# vgcfgrestore vg01 Restored volume group vg01 [root@lancy bin]# lvs LV VG Attr LSize Origin Snap% Move Log Copy% lv01 vg01 -wi— 100.00M [root@lancy bin]# vgscan Reading all physical volumes. This may take a while… Found volume group “vg01” using metadata type lvm2
哈哈,到此搞定!
Linux逻辑卷的管理
(1)Linux系统初始化LVM
vgscan
(2)创建物理卷
pvcreate /dev/sda1—————物理磁盘分区路径
(2)创建卷组
vgcreata vg0 /dev/sda1
| |________________物理磁盘分区路径
|_____________________逻辑卷组名称
(3)创建逻辑卷
lvcreate -n backup1 -L 500G vg0
| | |_______逻辑卷组
| |__________逻辑卷大小
|___________________逻辑卷名
(4)格式化逻辑卷
mkfs.ext3 /dev/vg0/backup1
(5)迁移逻辑卷vg信息
1. 在主机A上
vgcfgbackup vg0
此命令将vg0的信息备份下来,产生一个/etc/lvm/backup/vg0文件,将此文件传到主机B上,注意此文件的权限,它默认是300,属主和属组都是root,如果你不是root用户,需要改变此文件的权限才能下载。
2.导入vg信息
mkdir /etc/lvm/backup 在/etc/lvm下创建目录backup
将主机A上的vg0 文件传到/etc/lvm/backup目录下
vgcfgrestore vg0 在主机B上将vg0导入
vgchange –ay 激活卷组