Linux文件系统与日志分析

深入理解Linux文件系统

        在处理 Linux 系统出现的各种故障时，故障的症状是最易发现的，而导致这一故障的原 因才是最终排除故障的关键。熟悉Linux 系统中常见的日志文件，了解一般故障的分析与解 决办法，将有助于管理员快速定位故障点、“对症下药”、并及时解决各种系统问题。

 inode与block 详解

        操作系统的文件数据除了实际内容之外，通常含有非常多的属性，例如Linux操作系统的文件权限(rwx)与文件属性(所有者、群组、时间参数等)。文件系统通常会将这两部分内容分别存放在inode 和block 中。

1.inode  和block 概述

        文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”(sector)  ,每个扇区存储512字节。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个“块”(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小，最常见的是4KB,  即连续八个sector 组成一个block。

        文件数据存储在“块”中，那么还必须找到一个地方存储文件的元信息，比如文件的创建 者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做 inode, 中文译 名为“索引节点”,也叫i节点。因此，一个文件必须占用一个inode, 但至少占用一个 block。

2.inode的内容

inode 包含很多的文件元信息，但不包含文件名，例如：

>   文件的字节数

>   文件拥有者的UserlD

>    文件的GroupID

>   文件的读、写、执行权限

>   文件的时间戳

        使用 stat 命令即可查看某个文件的 inode 信息。

[root@localhost ~]# stat anaconda-ks.cfg

        Linux 系统文件有三个主要的时间属性，分别是ctime(change   time),atime(access   time), mtime(modify  time)。

>   ctime(change time) 是最后一次改变文件或目录(属性)的时间；

>    atime(access time)是最后一次访问文件或目录的时间；

>   mtime(modify    time)是最后一次修改文件或目录(内容)的时间。

刚才提到 inode 中并不包括文件名，其实文件名是存放在目录当中的。

        每个inode  都有一个号码，操作系统用inode   号码来识别不同的文件， Linux 系统内部 不使用文件名，而使用inode 号码来识别文件。

硬链接与软链接

        在Linux系统下的链接文件有两种，一种类似于Windows的快捷方式功能的文件，可以快速连接到目标文件或目录，称之为软链接；另一种则是通过文件系统的inode 链接来产生的新文件名，而不是产生新文件，称之为硬链接。

1. 硬链接

        一般情况下，文件名和inode  号码是一一对应关系，每个inode  号码对应一个文件名。但是Linux系统允许多个文件名指向同一个inode号码。这意味着，可以用不同的文件名访问同样的内容。In 命令可以创建硬链接，命令的基本格式为：

ln 源文件目标 硬链接的目标文件

        当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名；但是删除一个  文件名，不影响另一个文件名的访问。删除一个文件名，只会使得inode 中的"链接数"减1。需要注意的是不能对目录做硬链接。

2. 软链接

        软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件 的文件名。

软链接的创建命令的基本格式为：

In -s 源文件或目录 目标文件或目录

EXT 类型文件恢复

        删除一个文件，实际上并不清除 inode 节点和 block 的数据，只是在这个文件的父目录 里面的 block 中，删除这个文件的名字。Linux 是通过 Link的数量来控制文件删除的，只有当一个文件不存在任何Link  的时候，这个文件才会被删除。

        在数据被误删除后，第一时间要做的就是卸载被删除数据所在的分区，如果是根分区的 数据遭到误删，就需要将系统进入单用户模式，并且将根分区以只读模式挂载。这样做的原 因很简单，因为将文件删除后，仅仅是将文件的 inode 节点中的扇区指针清零，实际文件还存储在磁盘上，如果磁盘继续以读写模式挂载，这些已删除的文件的数据块就可能被操作系统重新分配出去，在这些数据库被新的数据覆盖后，这些数据就真的丢失了，恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险，以提高恢复数据成功的比例。

编译安装 extundelete

        在编译安装 extundelete 之前需要先安装两个依赖包e2fsprogs-libs 和 e2fsprogs-devel,这两个包在系统安装光盘的/Package  目录下就有，使用 rpm 或 yum  命令将其安装。

        安装完依赖包之后，即可将提前上传的 extundelete 软件包解压、配置、编译、安装。安装。完成后，，就可以进行文件恢复操作了

umount /aaa //取消ext3分区的挂载
extundelete /dev/sdb1 --restore-all //恢复/dev/sdb1中所有的删除数据

执行完恢复的命令后，在当前目录下会出现一个/RECOVERED_FILES/  目录，里面保存了已经恢复的文件。

xfs  类型文件备份和恢复

        xfs类型的文件可使用xfsdump与xfsrestore 工具进行备份恢复。通过yum install -y xfsdump命令安装。xfsdump  按照 inode 顺序备份一个xfs 文件系统。 xfsdump的命令格式为：

xfsdump -f 备份存放的位置 需要备份的文件

常用的备份参数包括以下几种：

>  -f:  指定备份文件目录；

>   -L: 指定标签 session label;

>  -M: 指定设备标签 media label;

>  -s: 备份单个文件， -s 后面不能直接跟路径。

备份完成后，如果数据误删除，可以使用以下命令恢复：

xfsrestore -f 备份文件的位置 恢复后的文件路径

使用 xfsdump 时，需要注意以下的几个限制：

>    xfsdump 不支持没有挂载的文件系统备份，所以只能备份已挂载的；

> xisdump  必须使用root的权限才能操作(涉及文件系统的关系);

>    xfsdump  只能备份XFS文件系统；

>    xfsdump  备份下来的数据(档案或储存媒体)只能让 xfsrestore 解析；

>    xfsdump  是透过文件系统的UUID来分辨各个备份档的，因此不能备份两个具有相同UUID 的文件系统。

分析日志文件

        日志文件是用于记录Linux操作系统中各种运行消息的文件，相当于Linux主机的“日 记”。不同的日志文件记载了不同类型的信息，如 Linux内核消息、用户登录事件、程序错误等。日志文件对于诊断和解决系统中的问题很有帮助

主要日志文件

        本小节将简单介绍日志数据的种类及常见日志文件的用途。在Linux 操作系统中，日志数据主要包括以下三种类型。

>   内核及系统日志：这种日志数据由系统服务rsyslog 统一管理，根据其主配置文件/etc/rsyslog.conf  中的设置决定将内核消息及各种系统程序消息记录到什么位置。 

>   用户日志：这种日志数据用于记录Linux 操作系统用户登录及退出系统的相关信息，包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。

>   程序日志：有些应用程序会选择由自己独立管理一份日志文件(而不是交给rsyslog 服务管理),用于记录本程序运行过程中的各种事件信息。由于这些程序只负责管理自己的日志文件，因此不同程序所使用的日志记录格式可能会存在较大的差异。

        Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下。一部分程序共用一个日志文件，一部分程序使用单个日志文件，而有些大型服务器程序由于日志文件不止一个，所以会在/var/log/目录中建立相应的子目录来存放日志文件，这样既保证了日志文件目录的结构清晰，又可以快速定位日志文件。有相当一部分日志文件只有root用户才有权限读取，这保证了相关日志信息的安全性。

        对于Linux操作系统中的日志文件，有必要了解其各自的用途，这样才能在需要的时候更快地找到问题所在，及时解决各种故障。下面介绍常见的一些日志文件。

>  /var/log/messages:记录 Linux内核消息及各种应用程序的公共日志信息，包括启动、VO 错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务， 一般都可以从该日志文件中获得相关的事件记录信息。

>   /var/log/cron:记录 crond计划任务产生的事件信息。

>  /var/log/dmesg:记录 Linux操作系统在引导过程中的各种事件信息。

>  /var/log/maillog:    记录进入或发出系统的电子邮件活动。

>   /var/log/lastlog: 记录每个用户最近的登录事件。

>  /var/log/secure:     记录用户认证相关的安全事件信息。

>  /var/ogwtmp: 记录每个用户登录、注销及系统启动和停机事件。

>  /var/log/btmp:    记录失败的、错误的登录尝试及验证事件。

日志文件分析

        熟悉了系统中的主要日志文件以后，下面将介绍针对日志文件的分析方法。分析日志文件的目的在于通过浏览日志查找关键信息、对系统服务进行调试，以及判断发生故障的原因等。

        对于大多数文本格式的日志文件(如内核及系统日志、大多数的程序日志),只要使用 tail 、more 、less 、cat 等文本处理工具就可以查看日志内容。而对于一些二进制格式的日志文件(如用户日志),则需要使用特定的查询命令。

1. 内核及系统日志

        内核及系统日志功能主要由默认安装的rsyslog-7.4.7-16.el7.x86_64.rpm软件包提供rsyslog  服务所使用的配置文件为/etc/rsyslog.conf。通过查看/etc/rsyslog.conf   文件中的内容，可以了解到系统默认的日志设置。

        在Linux  内核中，根据日志消息的重要程度不同，将其分为不同的优先级别(数字等级越小，优先级越高，消息越重要)。

>   0  EMERG   (紧急):会导致主机系统不可用的情况。

>   1  ALERT  (警告):必须马上采取措施解决的问题。

>   2  CRIT   (严重):比较严重的情况。

>   3  ERR  (错误):运行出现错误。

>   4  WARNING   (提醒):可能影响系统功能，需要提醒用户的重要事件。

>   5  NOTICE   (注意):不会影响正常功能，但是需要注意的事件。

>   6  INFO (信息): 一 般信息。

>   7  DEBUG   (调试):程序或系统调试信息等。

        内核及大多数系统消息被记录到公共日志文件var/log/messages中，而其他一些程序 消息被记录到各自独立的日志文件中，此外日志消息还能够记录到特定的存储设备中，或者直接发送给指定用户。

2. 用户日志

        在 wtmp、btmp、lastlog 等日志文件中，保存了系统用户登录、退出等相关的事件消息。但是这些文件都是二进制的数据文件，不能直接使用tail 、less  等文本查看工具进行浏览，需要使用 who、w、users、last和lastb等用户查询命令来获取日志信息。

(1)查询当前登录的用户情况 users 、who 、w 命令

        users  命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数。user 命令的具体操作如下：

[root@localhost~]#users
 root root root //root 用户打开三个终端

        who 命令用于报告当前登录到系统中的每个用户的信息。使用该命令，系统管理员可 以查看当前系统存在哪些不合法用户，从而对其进行审计和处理。who 的默认输出包括用户名、终端类型、登录日期及远程主机。who 命令的具体操作如下：

[root@localhost~]#who 
root :0 2017-05-0710:27(:0)

root        pts/1	2017-05-0710:27 (:0)
root        pts/2	2017-05-0710:28 (192.168.12.1)

        w 命令用于显示当前系统中的每个用户及其所运行的进程信息，比 users 、who    命令的输出内容要丰富一些。w  命令的具体操作如下：

[root@localhost~]#w 
... //显示内容省略

(2)查询用户登录的历史记录—last 、lastb命令

        last  命令用于查询成功登录到系统的用户记录，最近的登录情况将显示在最前面。通过last命令可以及时掌握Linux  主机的登录情况，若发现未经授权的用户登录过，则表示当前主机可能已被入侵。last 命令的具体操作如下：

[root@localhost ~]#last

        lastb  命令用于查询登录失败的用户记录，如登录的用户名错误、密码不正确等情况都将记录在案。登录失败的情况属于安全事件，因为这表示可能有人在尝试猜解你的密码。除了使用lastb 命令查看以外，也可以直接从安全日志文件/var/log/secure 中获得相关信息。

3.程序日志

        在Linux操作系统中，还有相当一部分应用程序没有使用rsyslog服务来管理日志，而是由程序自己维护日志记录。在检查这些日志时，要注意是否有不合常理的时间或操作记录。例如，出现以下现象就应多加注意。

>   用户在非常规的时间登录，或者用户登录系统的IP 地址和以往的不一样。

>   用户登录失败的日志记录，尤其是那些一再连续尝试进入失败的日志记录。

>   非法使用或不正当使用超级用户权限。

>   无故或者非法重新启动各项网络服务的记录。

>   不正常的日志记录，如日志残缺不全，或者是诸如wtmp 这样的日志文件无故缺少了中间的记录文件。

        另外，需要提醒管理人员注意的是，日志并不是完全可靠的，高明的黑客在入侵系统后经常会打扫现场。所以管理人员需要综合运用以上的系统命令，全面、综合地进行审查和检测，切忌断章取义，否则将可能做出错误的判断。