文章详细介绍了Linux文件系统中的inode概念及其作用，包括文件元信息、大小和特殊功能。同时，讲述了EXT和XFS文件系统的文件恢复方法，以及使用cpio命令进行数据备份与恢复。此外，文章还讨论了日志文件的功能、分类、管理和分析，强调了日志在系统维护和故障排查中的重要性。
文章目录
计算机系统
5G云计算
第十一章 LINUX文件系统与日志分析
一、inode与block
1.概述
1）文件数据包括元信息与实际数据（类似文件属性），文件数据存储在“块”中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此一个文件必须占用一个inode，并且至少占用一个block
inode不包含文件名，文件名是存放在目录当中的，Linux系统中一切皆文件，因此目录也是一种文件。每个inode都有一个号码，操作系统用inode号码来识别不同的文件Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是对应关系，每个inode号码对应一个文件名。
所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码；通过inode号码，获取inode信息；根据inode信息， 看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block， 并读取数据。
2）文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
3）block（块）
①连续的八个扇区组成一个block（4K），操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的
②是文件存取的最小单位
4）inode（索引节点）
①中文译名为“索引节点”，也叫i节点
②用于存储文件元信息
2.inode的内容
1）inode包含文件的元信息
①文件的字节数
②所在块及块大小
③inode号
④文件拥有者的User ID
⑤文件的Group ID
⑥文件的读、写、执行权限
⑦文件的时间戳：
atime (accesstime) :（最后一次访问文件或目录的时间）
当使用这个文件的时候就会更新这个时间。
mtime (modification time) :（最后一次修改文件或目录内容的时间）
当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变，这就是和ctime的区别。
ctime (status time) :（最后一次改变文件或目录属性的时间）
当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是createtime，更像是changetime,只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。
⑧…
2）查看某个文件的inode信息
stat 文件名
ls -i ###查看inode号
3）硬盘分区后的结构
4）访问文件的简单流程
3.inode的大小
1）inode也会消耗硬盘空间
①每个inode的大小一般是128字节或256字节
2）格式化文件系统时确定inode的总数
3）使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
df -i
4.inode的特殊作用
1）由于inode号码与文件名分离，导致一些Unix/Liunx系统具有以下现象
①当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
②移动或重命名文件时，只改变文件名，不影响inode号
③打开一个文件后，系统用过inode号码来识别该文件，不在考虑文件名
二、恢复误删除的文件
1.EXT文件系统类型的文件恢复
1）编译安装extundelete软件包
extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统（ext4只能在centos6版本恢复）
①安装依赖包：
Ⅰ.e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm
Ⅱ.e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm
②配置、编译及安装
extundelete-0.2.4.tar.bz2
###使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /data
mount /dev/sdc1 /data
df -Th ###查看挂载情况
###安装依赖包
yum -y install e2fsprogs-libs e2fsprogs-devel
###编译安装extundelete
cd /opt
wget http://nchc.dl.sourceforge.net/project/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar -jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make [-j2] && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/
2）模拟删除并执行恢复操作
cd /data
echo a > a
echo b > b
echo c > c
echo d > d
ls
###查看文件系统/devsdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录
extundelete /dev/sdc1 --inode 2
rm -rf a b
extundelete /dev/sdc1 --inode 2
cd ~
###文件误删后尽快解除挂载，防止被新数据覆盖，导致恢复不了
umount /data
###恢复/dev/sdc1文件系统下的所有内容
extundelete /dev/sdc1 --restore-all
###在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复得文件
ls RECOVERED_FILES/
2.XFS文件系统类型的文件恢复
设置周期性任务，给文件做备份
xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
| 备份级别 | 说明 |
|---|---|
| 0（默认为0） | 完全备份 |
| 1-9 | 增量备份 |
| 选项 | 说明 |
|---|---|
| -f | 指定备份文件目录 |
| -L | 指定标签 session label |
| -M | 指定设备标签 media label |
| -s | 备份单个文件，-s 后面不能直接跟路径 |
| xfsdump使用限制 |
|---|
| 只能备份已挂载的文件系统 |
| 必须使用root的权限才能操作 |
| 只能备份XFS文件系统 |
| 备份后的数据只能让xfsrestore解析 |
| 不能备份两个具有相同UUID的文件系统 |
###检查xfsdump 命令是否安装
rpm -qa | grep xfsdump
###没有安装则安装
yum install -y xfsdump
###使用fdisk创建分区/dev/sdc1，格式化xfs文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.xfs [-f] /dev/sdc1
mkdir /data
mount /dev/sdc1 /data/
cd /data/
echo a > a
echo b > b
echo c > c
xfsdump -f /opt/dump_sdc1 /dev/sdc1 [-L dump_sdc1 -M /dev/sdc1]
cd /data/
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdc1 /data/
3.CPIO命令备份和恢复数据
1）概述
①cpio 命令：
用于从归档包中存入和读取文件，换句话说，cpio 命令可以从归档包中提取文件（或目录），也可以将文件（或目录）复制到归档包中
②归档包：
也可称为文件库，其实就是 cpio 或 tar 格式的文件，该文件中包含其他文件以及一些相关信息（文件名、访问权限等）。归档包既可以是磁盘中的文件，也可以是磁带或管道
2）注意事项
①使用 cpio 备份数据时如果使用的是绝对路径，那么还原数据时会自动恢复到绝对路径下；同理，如果备份数据使用的是相对路径，那么数据会还原到相对路径下
②cpio 命令无法自行指定备份（或还原）的文件，需要目标文件（或目录）的完整路径才能成功读取，因此此命令常与 find 命令配合使用
③cpio 命令恢复数据时不会自动覆盖同名文件，也不会创建目录（直接解压到当前文件夹）
3）应用
find /data print | cpio -o[vcB] > [文件丨设备]
| 选项 | 说明 |
|---|---|
| -o | copy-out模式，备份 |
| -v | 显示备份过程 |
| -c | 使用较新的portable format存储方式 |
| -B | 设定输入/输出块为 5120Bytes，而不是模式的 512Bytes |
cpio -i[vcdu] < [文件|设备]
| 选项 | 说明 |
|---|---|
| -i | copy-in 模式，还原 |
| -v | 显示还原过程 |
| -c | 较新的 portable format 存储方式 |
| -d | 还原时自动新建目录 |
| -u | 自动使用较新的文件覆盖较旧的文件 |
find /boot -print | cpio -p /data
三、分析日志文件
1.日志的功能
1）用于记录系统、程序运行中发生的各种事件
2）通过阅读日志，有助于诊断和解决系统故障
2.日志文件的分类
1）内核及系统日志
①内核及系统日志由系统服务 rsyslog 统一管理，日志格式基本相似
②主配置文件为/etc/rsyslog.conf
2）用户日志
记录系统用户登录及退出系统的相关信息
3）程序日志
由各种应用程序独立管理的日志文件，记录格式不统一
4）日志保存位置
Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下
5）主要日志文件介绍
| 日志类型 | 文件绝对路径 |
|---|---|
| 内核及公共消息日志 | /var/log/messages |
| 计划任务日志 | /var/log/cron |
| 系统引导日志 | /var/log/dmesg |
| 邮件系统日志 | /var/log/maillog |
| 用户登录日志 | /var/log/secure /var/log/lastlog（二进制文件） /var/log/wtmp（二进制文件） /var/run/btmp（二进制文件） |
/var/log/messages：
记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息
/var/log/cron:
记录crond计划任务产生的事件信息
/var/log/dmesg:
记录Linux系统在引导过程中的各种事件信息
/var/log/maillog:
记录进入或发出系统的电子邮件活动
/var/log/secure：
记录用户认证相关的安全事件信息
/var/log/lastlog：
记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：
记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp：
记录失败的、错误的登录尝试及验证事件。二进制格式
3.日志文件的管理
1）由系统服务rsyslog统一管理
①软件包：rsyslog-7.4.7-16.el7.x86_64
②主要程序：/sbin/rsyslogd
③配置文件：/etc/rsyslog.conf
#查看rsyslog.conf配置文件，规则配置格式：[设备.级别 动作]
vim /etc/rsyslog.conf
{*.info;mail.none;authpriv.none;cron.none /var/log/messages}
###*.info示info等级及以上的所有等级的信息都写到对应的日志文件里
###mail.none表示某事件的信息不写到日志文件里（这里比如是邮件）
| 设备字段 | 说明 |
|---|---|
| auth | 用户认证时产生的日志 |
| authpriv | ssh、ftp等登录信息的验证信息 |
| daemon | 一些守护进程产生的日志 |
| ftp | FTP产生的日志 |
| lpr | 打印相关活动 |
| mark | rsyslog服务内部的信息，时间标识 |
| news | 网络新闻传输协议(nntp)产生的消息 |
| syslog | 系统日志 |
| uucp | Unix-to-Unix Copy 两个unix之间的相关通信 |
| console | 针对系统控制台的消息 |
| cron | 系统执行定时任务产生的日志 |
| kern | 系统内核日志 |
| local0~local7 | 自定义程序使用 |
| 邮件日志 | |
| user | 用户进程 |
2）日志消息的级别
| 级号 | 消息 | 级别 | 说明 |
|---|---|---|---|
| 0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
| 1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
| 2 | CRIT | 严重 | 比较严重的情况 |
| 3 | ERR | 错误 | 运行出现错误 |
| 4 | WARNING | 提醒 | 可能会影响系统功能的事件 |
| 5 | NOTICE | 注意 | 不会影响系统但值得注意 |
| 6 | INFO | 信息 | 一般信息 |
| 7 | DEBUG | 调试 | 程序或系统调试信息等 |
mail.info /var/log/maillog ：
比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中
mail.=info /var/log/maillog ：
明确指定日志级别为info，保存至/var/log/maillog
mail.!info /var/log/maillog ：
除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog
*.info /var/log/maillog ：
所有facility的info级别，保存至/var/log/maillog
mail. /var/log/maillog* ：
mail的所有日志级别信息，都保存至/var/log/maillog
mail.notice;news.info /var/log/maillog ：
mail的notice以上的日志级别和news的info以上的级别保存至/var/log/maillog
mail,news.crit -/var/log/maillog ：
mail和news的crit以上的日志级别保存/var/log/maillog中；“-”代表异步模式（同时进行，类似并行，同步模式即并发）
3）日志记录的一般格式
tail /var/log/messages
4）用户日志分析
分析工具
users
who
w
last ###用于查询成功登录到系统的用户记录
lastb ###用于查询登录失败用户记录
5）程序日志分析
由相应的应用程序独立进行管理
①Web服务：/var/log/httpd
access_log ###记录客户访问事件
error_log ###记录错误事件
②代理服务：/var/log/squid/
access.log
cache.log
③分析工具
###文本工具三剑客
grep
awk
sed
###专用日志分析工具
Webalizer、Awstats
4.日志管理策略
1.及时做好备份和归档
2.延长日志保存期限
fing /var/log/messages -mtime +30 -type -exec rm -rf {} \；
###通过find命令查找超过30以上没有修改过的日志文件进行删除，延长保存期限，就查找更早之前的，+60、+90
3.控制日志访问权限
日志中可能会包含各类敏感信息，如账户、口令等
4.集中管理日志
①将服务器的日志文件发到统一的日志文件服务器
②便于日志信息的统一收集
③杜绝日志信息的意外丢失、恶意篡改或删除
5.配置日志服务器收集日志
rsyslog是一个C/S架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听端口是514，只需要在MODULES打开即可
发送服务器：客户端 192.168.80.20
收集服务器：服务端 192.168.80.30
###关闭服务端和客户端防火墙、selinux
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
###修改客户端配置文件，并启动服务
vim /etc/rsyslog.conf
###MODULES###
###将下面四行前的注释取消掉
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
###RULES###
###添加下列内容
$template myFormat, "%timestamp% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate myFormat
*.info;mail.none;authpriv.none;cron.none @@192.168.80.30:514
###%timestamp% ：时间戳
###%fromhost-ip% ：接收的信息来自于哪个节点的 IP
###%hostname% ：主机名
###%syslogseverity-text% ：日志等级
###%syslogtag% ：服务进程
###%msg% ：日志内容
###接收方 IP 前面一个 @ 表示 TCP 传输，两个 @ 表示 UDP 传输
systemctl restart rsyslog
###修改服务端配置文件，并启动服务
vim /etc/rsyslog.conf
###将下面四行前的注释取消掉
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
###添加以下内容
$AllowedSender tcp, 192.168.80.0/24
###允许 192.168.80.0 网段内的主机以tcp协议来传输
$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
###定义模板，接受日志文件路径，区分了不同主机的日志
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
###过滤掉 server 本机的日志
systemctl restart rsyslog
###在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致
mkdir -p /data/log
###验证
#客户端的终端命令行输入或者重启一个服务
logger "hello world"
###在服务端查看日志文件
tree /data/log/
6.journalctl 日志管理工具
日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息。
Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。
日志的配置文件是==/etc/systemd/journald.conf==
#查看所有日志（默认情况下，只保存本次启动的日志）
journalctl
journalctl -r #-r表示倒序，从尾部看（推荐）
#查看内核日志（不显示应用日志）
journalctl -k
#查看系统本次启动的日志
journalctl -b [-0]
#查看上一次启动的日志（需更改设置,如上次系统崩溃，需要查看日志时，就要看上一次的启动日志）
journalctl -b -1
#显示尾部指定行数的日志
查看的是/var/log/messages的日志，但是格式上有所调整，如主机名格式不一样而已
journalctl -n 20 [-f]
#查看某个服务的日志
journalctl -u nginx.service [-f]
#查看指定进程的日志
journalctl _PID=1
#查看指定用户的日志
journalctl _UID=0 --since today
journalctl -xe
#-x 是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址
#-e pager-end 从末尾开始看
扫一扫
340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
