深入理解Linux文件系统与日志分析

深入理解Linux文件系统与日志分析

一.inode与block

1.inode和block概述：

文件数据包括元信息与实际数据

文件存储在硬盘上，硬盘最小存储单位是"扇区"，每个扇区存储512字节

block（块）

• 连续的八个扇区组成一个block（4K）

• 是文件存取的最小单位

inode（索引节点）

• 中文译名为"索引节点"，也叫i节点

• 用于存储文件元信息

注：一个文件必须占用一个inode，但至少占用一个block

2.inode的内容：

(1)inode包含文件的元信息：

1. 文件的字节数
2. 文件拥有者的User ID
3. 文件的Group ID
4. 文件的读、写、执行权限
5. 文件的时间戳

注：不包含文件名

(2)Linux系统文件三个主要的时间属性：

最后一次改变文件或目录(属性)的时间：ctime（chage time）

最后一次访问文件或目录的时间：atime（access time）

最后一次修改文件或目录(内容)的时间：mtime（modify time）

(3)目录文件的结构：目录也是一种文件

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件
• Linux系统内部不使用文件名，而使用inode号码来识别文件
• 对于用户，文件名只是inode号码便于识别的别称

3.inode的号码：

用户通过文件名打开文件时，系统内部的过程：

• 系统找到这个文件名对应的inode号码
• 通过inode号码，获取inode信息
• 根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法：

• 查看文件名对应的inode号码命令：ls -i 文件名
• 查看文件inode信息中的inode号码命令：stat 文件名

4.inode的大小：

• inode也会消耗硬盘空间，每个inode的大小一般是128字节或256字节

• 格式化文件系统时可以确定inode的总数

• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

5.inode的特殊作用：

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

6.硬盘分区后的结构：

文件名—>目录文件—>文件名与inode号的对应关系

元信息—>inode—>除了文件名以外的属性

实际数据—>块block—>文件内容

7.访问文件的简单流程:

用户访问文件—>通过文件名找到inode号—>通过inode号获取inode信息并判断用户是否具有访问权限（有：获取文件数据所在的block，读取数据；无：拒绝访问，返回Permission denied）

二.恢复误删除的文件：

1.恢复EXT类型的文件：

编译安装extundelete软件包

安装依赖包

e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm

e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm

配置、编译及安装

extundelete-0.2.4.tar.bz2

过程：（例）

1.创建分区，格式化并挂载：

fdisk /dev/sdb

partprobe /dev/sdb

mkfs.ext3 /dev/sdb1

mkdir /xc

mount /dev/sdb1 /xc

df -hT

2.安装依赖包：

yum -y install e2fsprogs-libs e2fsprogs-devel

3.下载解压并编译安装extundelete：

cd /opt

将文件extundelete拖入下载

ls

tar -jxvf extundelete-0.2.4.tar.bz2

ls

cd extundelete-0.2.4/

./configure --prefix=/usr/local/extundelete && make && make install

ln -s /usr/local/extundelete/bin/* /usr/bin/

4.模拟删除并执行恢复操作：

cd /xc

echo a > a

echo b > b

echo c > c

echo d > d

ls

5.查看文件系统/devsdb1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录

extundelete /dev/sdb1 --inode 2

rm -f a b

extundelete /dev/sdb1 --inode 2

cd

6.文件误删后尽快解除挂载，防止被新数据覆盖，导致恢复不了：

umount /xc

7.恢复/dev/sdb1文件系统下的所有内容：

extundelete /dev/sdb1 --restore-all

8.在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复得文件：

ls

ls RECOVERED_FILES/

cat RECOVERED_FILES/a RECOVERED_FILES/b

2.恢复XFS类型的文件：

格式：xfsdump -f 备份存放位置 要备份的路径或设备文件

格式：xfsrestore -f 恢复文件的位置 存放恢复后文件的位置

xfsdump常用选项	说明
-f	指定备份文件目录
-L	指定标签session label
-M	指定设备标签media label
-s	备份单个文件，-s后面不能直接跟路径

xfsdump备份级别：0表示完全备份（默认）；1-9表示增量备份

xfsdump使用限制：

1. 只能备份已挂载的文件系统
2. 必须使用root权限才能操作
3. 只能备份XFS文件系统
4. 备份后的数据只能让xfsrestore解析
5. 不能备份两个具有相同UUID的文件系统（可用blkid命令查看）

过程：（例）

1.查看xfsdump命令是否安装：

rpm -qa | grep xfsdump

2.若没有则yum一键安装：

yum -y install xfsdump

3.创建分区，格式化并挂载：

fdisk /dev/sdb

partprobe /dev/sdb

mkfs.xfs /dev/sdb1

mkdir /xc

mount /dev/sdb1 /xc

df -hT

cd /xc

echo a > a

echo b > b 

echo c > c

xfsdump -f /opt/dump_sdb1 /dev/sdb1

cd /xc

rm -rf ./*

ls

xfsrestore -f /opt/dump_sdb1 /xc

ls

3.cpio：备份和恢复数据命令

用于从归档文件中存入和读取文件中，也可以将文件或目录复制到归档包中

**归档包：**即文件库，其实就是 cpio 或 tar 格式的文件，该文件中包含其他文件以及一些相关信息（文件名、访问权限等）

格式：cpio -i[选项] < [文件或设备]

选项	说明
-i	copy-in 模式，还原
-o	copy-out模式，备份
-v	显示还原过程
-c	较新的 portable format 存储方式
-d	还原时自动新建目录
-u	自动使用较新的文件覆盖较旧的文件
-B	设定输入/输出块为 5120Bytes，而不是模式的 512Bytes

注：

(1)用 cpio 备份数据时如果使用的是绝对路径，那么还原数据时就会自动恢复到所使用的绝对路径下；如果备份数据使用的是相对路径，则数据会还原到所使用的相对路径下

(2)cpio 命令无法自行指定备份（或还原）的文件，需要目标文件（或目录）的完整路径才能成功读取，因此此命令常与 find 命令配合使用

(3)cpio 命令恢复数据时不会自动覆盖同名文件，也不会创建目录（直接解压到当前文件夹）

格式：find /xc xxx | cpio -o[选项] > [文件或设备]

三.分析日志文件：

(1)日志的功能：

• 用于记录系统、程序运行中发送的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

(2)日志文件的分类：

内核及系统日志：

• 由系统服务rsyslog统一进行管理，日志格式基本相似
• 主配置文件/etc/rsysylog.conf

==用户日志：==记录系统用户登录及退出系统的相关信息

==程序日志：==由各种应用程序独立管理的日志文件，记录格式不统一

(3)日志保存位置：/var/log目录下（默认）

主要日志文件介绍	位置	说明
内核及公共消息日志	/var/log/messages	记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等，对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息
计划任务日志	/var/log/cron	记录crond计划任务产生的事件信息
系统引导日志	/var/log/dmesg	记录Linux系统在引导过程中的各种事件信息
邮件系统日志	/var/log/maillog	记录进入或发出系统的电子邮件活动
用户登录日志	/var/log/lastlog	记录每个用户最近的登录事件
	/var/log/secure	记录用户认证相关的安全事件信息
	/var/log/wtmp	记录每个用户登录、注销及系统启动和停机事件
	/var/log/btmp	记录失败的、错误的登录尝试及验证事件

注：/var/log/rpmpkgs：记录系统中安装的各rpm包列表信息

1.日志文件管理：（由系统服务rsyslog统一管理）

软件包：rsyslog-7.4.7-16.el7.x86_64

主要程序：/sbin/rsyslogd

配置文件：==/etc/rsyslog.conf==

2.日志记录的一般格式：

3.Linux系统内核日志消息的优先级别：（数字等级越小，优先级越高，消息越重要）

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况（如系统崩溃）
1	ALERT	警告	必须马上采取措施解决的问题（如数据库破坏）
2	CRIT	严重	比较严重的情况（如硬盘错误，可能会阻碍程序的部分功能）
3	ERR	错误	运行出现错误（不是非常紧急，尽快修复即可）
4	WARNNG	提醒	可能会影响系统功能（需要提醒用户的重要事件，不是错误，如磁盘使用率85%过高等）
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息（正常的系统信息）
7	DEBUG	调试	程序或系统调试信息等（包含详细开发的信息，调试程序时使用）
	none		没有优先级，不记录任何日志信息

设备字段	说明
auth	用户认证时产生的日志
authpriv	ssh、ftp等登录信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关活动
mark	rsyslog服务内部的信息，时间标识
news	网络新闻传输协议（nntp）产生的消息
syslog	系统日志
uucp	Unix-to-Unix Copy两个unix之间的相关通信
console	针对系统控制台的消息
cron	系统执行定时任务产生的日志
kern	系统内核日志
local0~local7	自定义程序使用
mail	邮件日志
user	用户进程

举例：

mail.info /var/log/maillog ：比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中

mail.=info /var/log/maillog ：明确指定日志级别为info，保存至/var/log/maillog

mail.!info /var/log/maillog ：除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog

*.info /var/log/maillog ：所有facility的info级别，保存至/var/log/maillog

==mail. /var/log/maillog== ：mail的所有日志级别信息，都保存至/var/log/maillog*

mail.notice;news.info /var/log/maillog ：mail的notice以上的日志级别和news的info以上的级别保存至/var/log/maillog

mail,news.crit -/var/log/maillog ：mail和news的crit以上的日志级别保存/var/log/maillog中；“-”代表异步模式（同时进行，类似并行，同步模式即并发）

4.用户日志分析：

保存了用户登录、退出系统等相关信息

/var/log/lastlog：最近的用户登录事件

/var/log/wtmp：用户登录、注销及系统开、关机事件

/var/log/utmp：当前登录的每个用户的详细信息

/var/log/secure：与用户验证相关的安全性事件

分析工具：

users、who、w、last、lastb

last命令用于查询成功登录到系统的用户记录

lastb命令用于查询登录失败的用户记录

5.程序日志分析：

由相应的应用程序独立进行管理

(1)Web服务：/var/log/httpd

• access_log #记录客户访问事件
• error_log #记录错误事件

(2)代理服务：/var/log/squid

• access.log
• cache.log

(3)分析工具：

• 文本查看：

1. **grep、awk、sed**等文本过滤、检索、格式化编辑工具
2. **Webmin**管理套件中查看

• Webalizer、Awstats等专用日志分析工具

6.日志管理策略：

(1)及时做好备份和归档

(2)延长日志保存期限

(3)控制日志访问权限：日志中可能会包含各类敏感信息，如账户、口令等

(4)集中管理日志：

• 将服务器的日志文件发到统一的日志文件服务器
• 便于日志信息的统一收集、整理和分析
• 杜绝日志信息的意外丢失、恶意篡改或删除

7.journalctl日志管理工具：

日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息，Systemd统一管理所有Unit的启动日志，带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）

日志的配置文件是：/etc/systemd/journald.conf

(1)查看所有日志（默认情况下，只保存本次启动的日志）：journalctl [-r] #-r表示倒序，从尾部看(推荐)

(2)查看内核日志（不显示应用日志）：journalctl -k

(3)查看系统本次启动的日志：journalctl -b [-0]

(4)查看上一次启动的日志（需更改设置，如上次系统崩溃，需要查看日志时，就要看上一次的启动日志）：journalctl -b [-1]

(5)显示尾部指定行数的日志（查看的是/var/log/messages的日志，但格式上有所调整，如主机名格式不一样而已）：journalctl -n 20 [-f]

(6)查看某个服务的日志：journalctl _PID=1

(7)查看指定用户的日志：journalctl _UID=0 --since today

件是：/etc/systemd/journald.conf**

(1)查看所有日志（默认情况下，只保存本次启动的日志）：journalctl [-r] #-r表示倒序，从尾部看(推荐)

(2)查看内核日志（不显示应用日志）：journalctl -k

(3)查看系统本次启动的日志：journalctl -b [-0]

(4)查看上一次启动的日志（需更改设置，如上次系统崩溃，需要查看日志时，就要看上一次的启动日志）：journalctl -b [-1]

(5)显示尾部指定行数的日志（查看的是/var/log/messages的日志，但格式上有所调整，如主机名格式不一样而已）：journalctl -n 20 [-f]

(6)查看某个服务的日志：journalctl _PID=1

(7)查看指定用户的日志：journalctl _UID=0 --since today

(8)journalctl -xe #-x是目录（catalog）的意思，在报错的信息下会附加解决问题的网址；-e表示从末尾开始看