在线文件误删除恢复原理及过程(利用lsof恢复)

    我们知道，当启动apache时，httpd会跟据httpd.conf中的配置选项定位日志文件的路径，如果启动前不存在则创建，如果存在则向里面追加日志信息。当httpd正在运行，如果我们将其日志文件删除也不会影响httpd的运行。

    当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。

    这里我们不得不先来了解一下lsof这个命令
    lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息，因此通过lsof工具能够查看这个列表对系统监测以及排错将是很有帮助的。


lsof的使用：
在终端下输入lsof即可显示系统打开的文件，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户的身份运行

[root@station11 ~]# lsof |more
COMMAND    PID      USER   FD      TYPE     DEVICE SIZE/OFF       NODE NAME
init         1      root  cwd       DIR      253,0     4096          2 /
init         1      root  rtd       DIR      253,0     4096          2 /
init         1      root  txt       REG      253,0    35380      65712 /sbin/init
init         1      root  mem       REG      253,0  1690404    2719768 /lib/libc-2.5.so
init         1      root  mem       REG      253,0   129476    2719761 /lib/ld-2.5.so
init         1      root  mem       REG      253,0    18812    2719774 /lib/libdl-2.5.so
init         1      root  mem       REG      253,0   243928    2719827 /lib/libsepol.so.1
init         1      root  mem       REG      253,0    91892    2719952 /lib/libselinux.so.1

每行显示一个打开的文件，若不指定条件默认将显示所有进程打开的所有文件。lsof输出各列信息的意义如下：
COMMAND： 进程的名称
PID：               进程标识符
USER：            进程所有者
FD：                文件描述符，应用程序通过文件描述符识别该文件。如cwd、txt等
TYPE：            文件类型，如DIR、REG等
DEVICE：        指定磁盘的名称
SIZE：             文件的大小
NODE：          索引节点（文件在磁盘上的标识）
NAME：          打开文件的确切名称

其中FD 列中的文件描述符cwd 值表示应用程序的当前工作目录，这是该应用程序启动的目录，除非它本身对这个目录进行更改。
txt 类型的文件是程序代码，如应用程序二进制文件本身或共享库，如上列表中显示的 /sbin/init 程序。其次数值表示应用程序的文件描述符，这是打开该文件时返回的一个整数。如上的最后一行文件/dev/initctl，其文件描述符为 10。u 表示该文件被打开并处于读取/写入模式，而不是只读 或只写 (w) 模式。同时还有大写 的W 表示该应用程序具有对整个文件的写锁。该文件描述符用于确保每次只能打开一个应用程序实例。初始打开每个应用程序时，都具有三个文件描述符，从 0 到 2，分别表示标准输入、输出和错误流。所以大多数应用程序所打开的文件的 FD 都是从 3 开始。
与 FD 列相比，Type 列则比较直观。文件和目录分别称为 REG 和 DIR。而CHR 和 BLK，分别表示字符和块设备；或者 UNIX、FIFO 和 IPv4，分别表示 UNIX 域套接字、先进先出 (FIFO) 队列和网际协议 (IP) 套接字。

常用的参数列表：

lsof  filename          显示打开指定文件的所有进程
lsof -a                     表示两个参数都必须满足时才显示结果
lsof -c string           显示COMMAND列中包含指定字符的进程所有打开的文件
lsof -u username    显示所属user进程打开的文件
lsof -g gid               显示归属gid的进程情况
lsof +d /DIR/          显示目录下被进程打开的文件
lsof +D /DIR/          同上，但是会搜索目录下的所有目录，时间相对较长
lsof -d FD                显示指定文件描述符的进程
lsof -n                     不将IP转换为hostname，缺省是不加上-n参数
lsof -i                      用以显示符合条件的进程情况
lsof -i[46] [protocol][@hostname|hostaddr][:service|port]
            46 --> IPv4 or IPv6
            protocol ---->  TCP or UDP
            hostname ---->  Internet host name
            hostaddr ---->  IPv4地址
            service ----->  /etc/service中的 service name (可以不只一个)
            port -------->  端口号 (可以不只一个)



例如： 查看22端口现在运行的情况

[root@station11 ~]# lsof -i :22
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
sshd    3045 root    3u  IPv6  10759      0t0  TCP *:ssh (LISTEN)
sshd    3045 root    4u  IPv4  10761      0t0  TCP *:ssh (LISTEN)
sshd    3326 root    3u  IPv4  11463      0t0  TCP 192.168.100.11:ssh->192.168.100.1:51579 (ESTABLISHED)


恢复删除的文件

    当Linux计算机受到***时，常见的情况是日志文件被删除，以掩盖***者的踪迹。管理错误也可能导致意外删除重要的文件，比如在清理旧日志时，意外地删除了数据库的活动事务日志。有时可以通过lsof来恢复这些文件。 当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。
    在/proc目录下，其中包含了反映内核和进程树的各种文件。/proc目录挂载的是在内存中所映射的一块区域，所以这些文件和目录并不存在于磁盘中，因此当我们对这些文件进行读取和写入时，实际上是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中，即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每个进程目录中存在着各种文件，它们可以使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号链接和其他系统信息。lsof 程序使用该信息和其他关于内核内部状态的信息来产生其输出。所以lsof 可以显示进程的文件描述符和相关的文件名等信息。也就是我们通过访问进程的文件描述符可以找到该文件的相关信息。
    当系统中的某个文件被意外地删除了，只要这个时候系统中还有进程正在访问该文件，那么我们就可以通过lsof从/proc目录下恢复该文件的内容。假如误将/var/log/messages文件删除掉了，那么将/var/log/messages文件恢复的方法如下：
首先使用lsof来查看当前是否有进程打开/var/log/messages文件，如下：

[root@station11 ~]# lsof |grep /var/log/messages 
syslogd   2599      root    1w      REG      253,0    42956    3506336 /var/log/messages (deleted)

从上面的信息可以看到 PID 2599（syslogd）打开文件的文件描述符为1。同时还可以看到/var/log/messages已经标记被删除了。因此我们可以在 /proc/2599/fd/1（fd下的每个以数字命名的文件表示进程对应的文件描述符）中查看相应的信息，如下：

[root@station11 ~]# cat /proc/2599/fd/1
Jun 20 10:08:44 station11 syslogd 1.4.1: restart.
Jun 20 10:08:44 station11 kernel: klogd 1.4.1, log source = /proc/kmsg started.
Jun 20 10:08:44 station11 kernel: Linux version 2.6.18-308.el5 (mockbuild@x86-010.build.bos.redhat.com) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-50)) #1 SMP Fri Jan 27 17:21:15 EST 2012
Jun 20 10:08:44 station11 kernel: BIOS-provided physical RAM map:
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 0000000000010000 - 000000000009f400 (usable)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 000000000009f400 - 00000000000a0000 (reserved)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 00000000000dc000 - 0000000000100000 (reserved)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 0000000000100000 - 000000003fef0000 (usable)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 000000003fef0000 - 000000003feff000 (ACPI data)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 000000003feff000 - 000000003ff00000 (ACPI NVS)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 000000003ff00000 - 0000000040000000 (usable)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 00000000f0000000 - 00000000f8000000 (reserved)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 00000000fec00000 - 00000000fec10000 (reserved)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 00000000fee00000 - 00000000fee01000 (reserved)
Jun 20 10:08:44 station11 kernel:  BIOS-e820: 00000000fffe0000 - 0000000100000000 (reserved)
Jun 20 10:08:44 station11 kernel: 128MB HIGHMEM available.
Jun 20 10:08:44 station11 kernel: 896MB LOWMEM available.
Jun 20 10:08:44 station11 kernel: found SMP MP-table at 000f6bf0
Jun 20 10:08:44 station11 kernel: Memory for crash kernel (0x0 to 0x0) notwithin permissible range

。。。。。。。。。。。。。。。。。。。。。。
由于信息太多，我这里只能显示部分
然后我们将这些信息重定向到新的文件中，这样就恢复了/var/log/messages
注意，这种方式恢复只能在文件正在被进程打开的时候才能使用。

使用该方法可以很好的恢复在线日志文件以及数据库的二进制日志及事务日志。