文件系统与日志分析

一、inode与block详解

操作系统的文件数据除了实际内容之外，通常含有非常多的属性，例如 Linux 操作系统的文件权限（rwx）与文件属性（所有者、群组、时间参数等）。文件系统通常会将这两部分内容分别存放在 inode 和 block 中

1．inode 和 block 概述

（1）inode：文件数据存储在“块”中，那么还必须找到一个地方存储文件的元数据(mate date)，比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做 inode，中文译名为“索引节点”，也叫 i 节点(标识文件在磁盘中的位置）。

注：元数据

xfs：512字节，大小可调节，不固定

ext4:256字节

不同的文件元数据大小不同

inode根据不同的文件系统，在保存这些信息的时候所用到的大小空间是不一样的。

（2)block:块，管理文件的时候最小管理单元。

文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”（sector），每个扇区存储 512字节。

操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。

这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是 4KB，即连续八个 sector 组成一个 block。

注：

xfs文件系统：4096

磁盘IO：1024

扇区IO：512

以上三个都可以称之为块，并不是指某一个概念的单位，只是站在不同的层面上，对磁盘中的文件进行读和写的时候最小的一个输入输出单元。

2．inode 的内容

inode 包含很多的文件元信息，但不包含文件名，例如：

文件的字节数

文件拥有者的 UserID

文件的 GroupID

文件的读、写、执行权限

文件的时间戳

Linux系统文件有三个主要的时间属性，分别是ctime(change time), atime(access time), mtime(modify time)。

atime(access time)是最后一次访问文件或目录的时间；

mtime(modify time)是最后一次更改文件或目录（内容）的时间；

ctime(change time) 是最后一次改动文件或目录（属性）的时间，例如执行 chmod，chown 等命令；

注：改变属性，访问不会有变化。更改内容，更改时间不仅变了，访问也变化。

3．inode 的号码

每个 inode 都有一个号码，操作系统用 inode 号码来识别不同的文件，Linux 系统内部不使用文件名，而使用 inode 号码来识别文件。对于用户来说，文件名只是 inode 号码便于识别的别称。

用户在访问文件时，表面上是用户通过文件名来打开文件，而实际系统内部的过程分成以下三步：

系统找到这个文件名对应的 inode 号码；

通过 inode 号码，获取 inode 信息；

根据 inode 信息，找到文件数据所在的 block，并读取数据。

常见的查看 inode 号码的方式有两种：

ls -i 命令：直接查看文件名所对应的 inode 号码；

stat 命令：通过查看文件 inode 信息而查看到 inode 号

所以，当用户在 Linux 系统中试图访问一个文件时，系统会先根据文件名去查找它对应的 inode，看该用户是否具有访问这个文件的权限。如果有，就指向相对应的数据 block，如果没有，就返回 Permission denied。

4．inode 的大小

inode 也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是 inode 区，存放 inode 所包含的信息。每个 inode 的大小，一般是 128 字节或 256 字节。通常情况下不需要关注单个 inode 的大小，而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了，执行“df -i”命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的 inode 数量。

一旦格式化了，inode大小就固定了，再更改是不可能的。

注：

由于 inode 号码与文件名分离，导致一些 Unix/Linux 系统具备以下几种特有的现象。

文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用；

移动文件或重命名文件，只是改变文件名，不影响 inode 号码；

打开一个文件以后，系统就以 inode 号码来识别这个文件，不再考虑文件名

这种情况使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过 inode 号码，识别运行中的文件，不通过文件名。更新的时候，新版文件以同样的文件名，生成一个新的 inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的 inode 则被回收。

操作：

ext类

xfs类

注：修改block、inode的大小是在格式化的过程中

系统中如果存的大部分都是小文件，block可以整的小一点。block的大小要具体看文件的大小

设置的时候要注意，isize的数量和block的数量有一定的关系，inode的数量乘以inode的大小加上block的数量乘以block的大小得到是总空间。inode占的空间越大，就会挤压block的空间；block的空间越大，就会挤压inode的空间。此消彼长。

---

二、硬链接与软链接

在 Linux 系统下的链接文件有两种，一种类似于 Windows 的快捷方式功能的文件，可以快速连接到目标文件或目录，称之为软链接；另一种则是通过文件系统的 inode 链接来产生的新文件名，而不是产生新文件，称之为硬链接。

1、硬链接

一般情况下，文件名和 inode 号码是一一对应关系，每个 inode 号码对应一个文件名。但是 Linux 系统允许多个文件名指向同一个 inode 号码。这意味着，可以用不同的文件名访问同样的内容。ln 命令可以创建硬链接，命令的基本格式为：ln 源文件 目标

当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名；但是删除一个文件名，不影响另一个文件名的访问。删除一个文件名，只会使得 inode 中的"链接数"减 1。需要注意的是不能对目录做硬链接。

注：硬链接就是同一个文件的同一个名字，硬链接只针对文件

2、软链接

软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名。例如，文件 A 和文件 B 的 inode 号码虽然不一样，但是文件 A 的，内容是文件B 的路径。读取文件 A 时，系统会自动将访问者导向文件 B。这时，文件 A 就称为文件 B的“软链接”（soft link）或者“符号链接（symbolic link）

文件 A 依赖于文件 B 而存在，如果删除了文件 B，打开文件 A 就会报错。这是软链接与硬链接最大的不同：文件 A 指向文件 B 的文件名，而不是文件 B 的 inode 号码，文件 B 的 inode“链接数”不会因此发生变化。

软链接的创建命令的基本格式为：ln -s 源文件或目录 目标文件或目录

注：软链接就是一个全新的文件，软链接既可以 针对目录，也可以针对文件。软连接更像windows的快捷方式

注：

每个系统里的文件，都要有一个硬链接，用户要通过名称访问该文件，操作系统要借助文件系统帮用户找到该文件，而用户只提供了文件的名称，文件系统通过该名称指向索引，索引指向了磁盘当中存放该文件的那些扇区，于是从磁盘读取信息。索引标识帮助做一个索引，指向磁盘中哪些数据，硬盘就可以通过磁头调取数据了。所以文件名称和索引编号是一个映射关系，这个映射关系是一个硬链接。

注：不断给文件做硬链接，所消耗的磁盘空间不会增加。硬链接不会额外的消耗你的存储。

注：在a分区里面用的编号，有可能在b分区里也可能用这个编号，在做硬链接的时候，有可能这个编号已经使用，跨分区的时候就不能用了。

问题：

拓展：硬盘中必须是超净的，不是真空的，处于真空中无法散热

三、EXT类型文件修复

删除一个文件，实际上并不清除 inode 节点和 block 的数据，只是在这个文件的父目录里面的 block 中，删除这个文件的名字。Linux 是通过 Link 的数量来控制文件删除的，只有当一个文件不存在任何 Link 的时候，这个文件才会被删除。

在 Linux 系统运维工作中，经常会遇到因操作不慎、操作错误等导致文件数据丢失的情况，尤其对于客户企业中一些新手。当然，这里所指的是彻底删除，即已经不能通过“回收站”找回的情况，比如使用“rm -rf”来删除数据。针对 Linux 下的 EXT 文件系统，可用的恢复工具有 debugfs、ext3grep、extundelete 等。

其中 extundelete 是一个开源的 Linux 数据恢复工具，支持 ext3、ext4 文件系统。在数据被误删除后，第一时间要做的就是卸载被删除数据所在的分区，如果是根分区的数据遭到误删，就需要将系统进入单用户模式，并且将根分区以只读模式挂载。这样做的原因很简单，因为将文件删除后，仅仅是将文件的 inode 节点中的扇区指针清零，实际文件还存储在磁盘上，如果磁盘继续以读写模式挂载，这些已删除的文件的数据块就可能被操作系统重新分配出去，在这些数据库被新的数据覆盖后，这些数据就真的丢失了，恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险，以提高恢复数据成功的比例。

注：

普通格式化，格的只是文件系统，磁道里面的数据还做保留。

低级格式化，是按磁道把每一个扇区初始化，对数据的危害是最大的，永久不可修复

1．编译安装 extundelet

安装依赖环境

解压

转储内存数据，仅在ext

或umount -l 延迟卸载

注：只针对ext3

四、 xfs 类型文件备份和恢复

五、分析日志文件

日志文件是用于记录 Linux 操作系统中各种运行消息的文件，相当于 Linux 主机的“日 记”。不同的日志文件记载了不同类型的信息，如 Linux 内核消息、用户登录事件、程序错 误等。 日志文件对于诊断和解决系统中的问题很有帮助，因为在 Linux 操作系统中运行的程序 通常会把系统消息和错误消息写入相应的日志文件，这样系统一旦出现问题就会“有据可查”。 此外，当主机遭受攻击时，日志文件还可以帮助寻找攻击者留下的痕迹。

1 、主要日志文件

内核及系统日志：这种日志数据由系统服务 rsyslog 统一管理，根据其主配置文件/etc/rsyslog.conf 中的设置决定将内核消息及各种系统程序消息记录到什么位置。 系统中有相当一部分程序会把自己的日志文件交由 rsyslog 管理，因而这些程序使 用的日志记录也具有相似的格式。

用户日志：这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息， 包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。

程序日志：有些应用程序会选择由自己独立管理一份日志文件（而不是交给 rsyslog 服务管理），用于记录本程序运行过程中的各种事件信息。由于这些程序只负责管 理自己的日志文件，因此不同程序所使用的日志记录格式可能会存在较大的差异

Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下。一部分程序共用一个日志文件，一部分程序使用单个日志文件，而有些大型服务器程序由于日志 文件不止一个，所以会在/var/log/目录中建立相应的子目录来存放日志文件，这样既保证了 日志文件目录的结构清晰，又可以快速定位日志文件。有相当一部分日志文件只有 root 用 户才有权限读取，这保证了相关日志信息的安全性

常见的一些日志文件：

/var/log/messages：记录 Linux 内核消息及各种应用程序的公共日志信息，包括启 动、I/0 错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服 务，一般都可以从该日志文件中获得相关的事件记录信息。

/var/log/cron：记录 crond 计划任务产生的事件信息。

 /var/log/dmesg：记录 Linux 操作系统在引导过程中的各种事件信息。

 /var/log/maillog：记录进入或发出系统的电子邮件活动。

/var/log/lastlog：记录每个用户最近的登录事件。

/var/log/secure：记录用户认证相关的安全事件信息。

/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。

/var/log/btmp：记录失败的、错误的登录尝试及验证事件

2、日志文件分析

对于大多数文本格式的日志文件（如内核及系统日志、大多数的程序日志），只要使用 tail、more、less、cat 等文本处理工具就可以查看日志内容。而对于一些二进制格式的日志 文件（如用户日志），则需要使用特定的查询命令

(1)内核及系统日志

内核及系统日志功能主要由默认安装的 rsyslog-7.4.7-16.el7.x86_64.rpm 软件包提供。 rsyslog 服务所使用的配置文件为/etc/rsyslog.conf。通过查看/etc/rsyslog.conf 文件中的内 容，可以了解到系统默认的日志设置，

从配置文件/etc/rsyslog.conf 中可以看到，受 rsyslogd 服务管理的日志文件都是 Linux 操作系统中主要的日志文件，它们记录了 Linux 操作系统中内核、用户认证、电子邮件、计 划任务等基本的系统消息。在 Linux 内核中，根据日志消息的重要程度不同，将其分为不同 的优先级别（数字等级越小，优先级越高，消息越重要）。

0 EMERG（紧急）：会导致主机系统不可用的情况。

1 ALERT（警告）：必须马上采取措施解决的问题。

2 CRIT（严重）：比较严重的情况。

3 ERR（错误）：运行出现错误。

4 WARNING（提醒）：可能影响系统功能，需要提醒用户的重要事件

5 NOTICE（注意）：不会影响正常功能，但是需要注意的事件。

6 INFO（信息）：一般信息。

7 DEBUG（调试）：程序或系统调试信息等

对于 rsyslog 服务统一管理的大部分日志文件，使用的日志记录格式基本上是相同的。 以公共日志/var/log/messages 文件的记录格式为例，其中每一行表示一条日志消息，每 一条消息均包括以下四个字段。

时间标签：消息发出的日期和时间。

主机名：生成消息的计算机的名称。

子系统名称：发出消息的应用程序的名称。

消息：消息的具体内容。

(2)用户日志

在 wtmp、btmp、lastlog 等日志文件中，保存了系统用户登录、退出等相关的事件消息。 但是这些文件都是二进制的数据文件，不能直接使用 tail、less 等文本查看工具进行浏览， 需要使用 who、w、users、last 和 lastb 等用户查询命令来获取日志信息。

①、查询当前登录的用户情况——users、who、w 命令 users 命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。 如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数

②、查询用户登录的历史记录——last、lastb 命令 last 命令用于查询成功登录到系统的用户记录，最近的登录情况将显示在最前面。通过 last 命令可以及时掌握 Linux 主机的登录情况，若发现未经授权的用户登录过，则表示当前 主机可能已被入侵。

(3)程序日志

在 Linux 操作系统中，还有相当一部分应用程序没有使用 rsyslog 服务来管理日志，而 是由程序自己维护日志记录。例如，httpd 网站服务程序使用两个日志文件 access_log 和 error_log 分别记录客户访问事件和错误事件。不同应用程序的日志记录格式差别较大，且 没有严格使用统一的格式，

3、案例

（1）日志环境集中化管理

步骤一

扩：

Hosts是一个没有扩展名的系统文件，主要作用是定义IP地址和主机名的映射关系，是一个映射IP地址和主机名的规定

注：同步功能开启

步骤二

步骤三

注：同步功能关闭

步骤四

每一个程序在运行的时候，都对应了一个文件，是这个程序的文件，把这一类的文件叫配置文件。

步骤五

步骤六

步骤七

步骤八

下面是node1、2配置

步骤九

（2）自定义ssh 服务的日志

（3）日志切割

在linux下的日志会定期进行滚动增加，我们可以在线对正在进行回滚的日志进行指定大小的切割（动态），如果这个日志是静态的。比如没有应用向里面写内容。那么我们也可以用split工具进行切割；其中Logrotate支持按时间和大小来自动切分,以防止日志内容将包含/var/log的文件系统填满