文章目录
linux文件系统与日志分析
一、inode与block
1、inode与block概述
1.1 bolck(块)
- 连续的八个扇区组成一个block(4K)
- 是文件存取的最小单位
1.2 inode(索引节点)
inode号在同一个设备(如:分区、逻辑卷等)上是唯一的,在不同设备上是可能一样的
- 中文译名为“索引节点”,也叫 i节点
- 用于存储文件元信息
注:一个文件必须占用一个 inode,但至少占用一个block
- 文件是存储在硬盘上的,硬盘的最小存储单位叫做“扇区”(sector),每个扇区存储512字节。
- 一般连续八个扇区组成一个“块”(block),一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性读取多个扇区,即一个块一个块的读取的。
- 文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在”块“中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域叫做inode。因此,一个文件必须占用一个inode,并且至少占用一个block。
- inode不包含文件名。文件名是存放在目录当中的。linux系统中一切皆文件,因此目录也是一种文件
- 每个inode都有一个号码,操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名。
- 当用户在Linux系统中试图访问一个文件时,系统会根据文件名去查找它对应的inode 号码,通过Inode号码。获取Inode 信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。
2、inode的内容
2.1 inode包含文件的元信息,包括
- 文件的字节数
- 文件拥有者的User ID
- 文件的Group ID
- 文件的读、写、执行权限
- 文件的时间戳
- ……
注:文件拥有着的User ID不包含文件名
2.2 用 stat命令可以查看某个文件的 inode信息
stat 文件名 #查看文件的inode信息(如:stat abc.txt
3、查看文件名对应的inode号码
ls -i 文件名 #查看文件对应的inode号
#只显示文件对应的 inode号,不能显示指定目录的 inode号,可以显示目录内所有文件的目录的inode号
stat 文件名 #查看文件对应的inode号
#会显示文件的元信息,也可以指定目录显示
cp 和 inode
cp 命令:
- 分配一个空闲的inode号,在inode表中生成新条目
- 在目录中创建一个目录项,将名称与inode编号关联
- 拷贝数据生成新的文件
rm 命令
- 硬链接数递减,从而释放的inode号可以被重用
- 把数据块放在空闲列表中
- 删除目录项
- 数据实际上不会马上被删除,但当另一个文件使用数据块时将被覆盖
mv和inode
- 如果mv命令的目标和源在同一设备
- 不影响inode表(除时间戳)或磁盘上的数据位置:没有数据被移动!
- 删除旧的目录对应关系新建目录对应关系
4、Linux系统文件三个主要的时间属性
-
当新创建一个文件时,这个文件的最后访问时间、最后内容修改时间、最后状态更新时间都是一致的
-
修改一个文件的权限状态信息,只会更新这个文件的最后状态修改时间
4.1 ctime(change time)
- 最后一次改变文件或目录(属性)的时间(文件权限最后变动时间)
4.2 atime(access time)
- 最后一次访问文件或目录的时间(最后被查看时间)
4.3 mtime(modification time)
- 最后一次修改文件或目录(内容)的时间(有没有被修改过)
5、目录文件的结构
-
Linux系统中,一切皆为文件。因此,目录也是一种文件
-
目录文件的结构
文件名 inode号 文件名1 inode号1 文件名2 inode号2 …… …… 注:每一行称为一个目录项。
-
每个inode都有一个号码,操作系统用inode号码来识别不同的文件。
-
Linux系统内部不适用文件名,而使用inode号码来识别文件。
-
对于用户,文件名只是inode号码便于识别的别称。
6、用户通过文件名打开文件时,系统内部的过程
- 系统找到这个文件名对应的inode号码
- 通过inode号码,获取inode信息
- 根据inode信息,找到文件数据所在的block,读出数据
7、银盘分区后结构和访问文件简单流程
硬盘分区后的结构
- 根据文件夹中的文件名和inode号的关系找到对应的inode表,再根据inode表当中的指针找到磁盘上的真实数据
访问文件的简单流程
8、inode的大小
inode也会消耗硬盘空间
- 每个inode的大小;
- 一般是128字节或者256字节
格式化文件系统时确定inode的 总数
df-i 命令
- 查看每个硬盘分区对应的inode总数以及使用数
注意:
- inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据; 另一个是 inode区,存放 inode 所包含的信息。每个 inode 的大小,一般是 128 字节或 256 字节。
- 通常情况下不需要关注单个 inode 的大小,而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了,执行"df-i"命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的inode 数量。
9、inode的特殊作用
由于inode号码与文件名分离,导致一些Unix/Linux系统具有以的现象:
- 当文件名包含特殊字符,可能无法正常删除文件,直接删除inode,也可以删除文件
- 移动或重命名文件时,只改变文件名,不影响inode号码
- 打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名
- 文件数据被修改保存后,会生成一个新的inode号码
10、通过inode号删除文件命令
find / -inum 68767553 -exec rm {} \; #根据inode号找到文件并删除
find / -inum 68767553 -delete #根据inode号找到文件并删除
删除文件,空间不释放时:
lsof |grep delete #过滤出被删除的文件,(再用kill杀掉进程)
echo " " > /boot/bigfile #将文件/boot/bigfile变成一个字符
11、inode节点耗尽故障模拟处理
inode号是有限的资源,它的多少和磁盘大小有关
inode号用完了:删除没有用的空文件
使用fdisk创建分区/dev/sdb1,分区大小30M即可:
fdisk /dev/sdb #新建分区
mkfs.xfs /dev/sdb1 #格式化
mount .dev/sdb1 /opt #挂载
df -i #查看磁盘可用inode号
模拟inode节点耗尽故障:
touch {1..15500}|xargs -n1 touch #建立文件,耗尽inode号
df -i #查看可用inode号
df -hi #查看可用inode号和容量
删除文件恢复inode:
rm -rf * #删除没有用的空文件夹
df -i #查看可用inode号
df -hi #查看可用inode号和容量
inode节点耗尽故障模拟处理(图文详解)
二、硬链接与软链接
1、链接文件的分类
对比项 | 硬连接 | 软连接 |
---|---|---|
本质 | 本质是同一个文件 | 本质不是同一个文件 |
inode | 相同 | 不同 |
连接数 | 创建新的硬链接,链接数会增加,删除硬链接,链接数减少 | 删除新建不会改变 |
文件夹 | 不支持 | 支持 |
删除源文件 | 只是链接数减一,但链接文件的访问不受影响 | 无法访问连接文件 |
文件类型 | 和源文件相同 | 链接文件,和源文件无关 |
文件大小 | 和源文件相同 | 源文件的路径的长度 |
2、如何建立链接
2.1 硬链接
- ln 源文件 目标位置
2.2 软链接
- ln -s 源文件或目录 链接文件或目标位置
三、恢复误删除的文件
1、恢复EXT类型的文件
1.1 extundelete工具
- extundelete是一个开源的Linux数据恢复工具,支持ext3、ext4文件系统。(ext4只能在CentOS 6版本恢复)
1.2 模拟删除并执行恢复操作
#使用fdisk创建分区/dev/sdc1,格式化ext3文件系统:
fdisk /dev/sdcpartprobe /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /test
mount /dev/sdc1 /test
df -hT
#安装依赖包:
yum -y inatll e2fsprogs-devel e2fsprogs-libs
#编译安装extundelete:
cd /test
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2 ## 下载文件
tar jxvf extundelete-0.2.4.tar.bz2
cd extundlete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/
#执行恢复操作:
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
ls
extundelete /dev/sdc1 --inode 2 ##查看文件系统/dev/sdc1下存在哪些文件,i节点是从2开始的,2代表该文件系统最开始的目录
rm -rf a b #模拟删除
extundelete /dev/sdc1 --inode 2 #查看该分区下的存在哪些文件
cd ~ #切换
umount /test #解挂载
extundelete /dev/sdc1 --restore -all #恢复/dev/sdc1文件系统下的所有内容
在当前目录下会出现一个RECOVERD_FILES/目录,里面保存了已经恢复的文件
ls RECOVERD_FILES/
2、XFS文件的备份和恢复
2.1 xfsdump工具
- CentOS 7系统默认采xfs文件系统,xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。
- xfsdump的备份级别有两种:0表示完全备份,1-9表示增量备份。xfsdump的默认备份级别为0。
2.2 xfsdump的命令格式
- xfsdump -f 备份存放位置 要备份的路径或设备文件
2.3 xfsdump命令的常用选项
常用选项 | 说明 |
---|---|
-f | 指定备份文件目录 |
-L | 指定标签session label |
-M | 指定设备标签media label |
-s | 备份单个文件,-s后面不能直接跟路径 |
2.4 xfsdump的使用限制
- 只能备份已挂载的文件系统
- 必须使用root的权限才能操作
- 只能备份xfs文件系统
- 备份后的数据只能让xfsdump解析
- 不能备份两个具有相同UUID的文件系统(可用blkid命令查看)
2.5 模拟数据丢失并恢复
使用fdisk创建分区/dev/sdb1,格式化xfs文件系统:
fdisk /dev/sdb
partprobe /dev/sdb #刷新分区
mkfs.xfs [-f] /dev/sdb1 #-f强制格式化
mkdir /data
mount /dev/sdb1 /data/ #挂载
cd /data
cp /etc/passwd ./ #将passwd文件拷入
mkdir test
touch test/a
使用xfsdump命令备份整个分区:
rpm -qa | grep xfsdump #查看是否已安装
yum install -y xfsdump #未安装可以使用yum安装
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1] #使用 xfsdump 命令备份整个分区并打上标记
模拟数据丢失并使用xfsrestore命令恢复文件:
cd /data
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdb1 /data/ # 使用 bak文件 将数据恢复到 /data 下
四、日志文件
1、日志的功能
- 用于记录系统、程序运行中发生的各种事件
- 通过阅读日志,有助于诊断和解决系统故障
2、日志文件的分类
2.1 内核及系统日志
- /var/log/messages:系统大部分文件存放位置
- /var/log/secure:与安全有关的信息(用户登录)
2.2 用户日志
- /var/log/btmp:查看用户登录失败的信息(lastb命令查看,因为btmp是一个二进制文件)
- /var/log/wtmp:哪些用户正常登录到系统中(last命令查看)
- /var/log/lastlog:记录用户最后一次登录信息(lastlog命令查看)
2.3 程序日志
- 由各种应用程序独立管理的日志文件,记录格式不统一
- 是和程序本身有关,有的有独立日志,有的没有独立日志
3、日志的保存位置
- 默认位于:/var/log目录下
日志文件位置 | 日志文件说明 |
---|---|
/var/log/messages内核和公共日志 | 它是核心系统日志文件,其中包含了系统启动时的引导信息,以及系统运行时的其他状态消息。I/O 错误、网络错误和其他系统错误都会记录到此文件中。其他信息,比如某个人的身份切换为 root,已及用户自定义安装软件的日志,也会在这里列出。 |
/var/log/cron 计划任务日志 | 记录与系统定时任务相关的曰志 |
/var/log/dmesg 系统引导日志 | 记录了系统在开机时内核自检的信息,也可以使用dmesg命令直接查看内核自检信息 |
/var/log/maillog 邮件日志 | 记录邮件信息的曰志 |
/var/log/lastlog | 记录系统中所有用户最后一次的登录时间的曰志。这个文件也是二进制文件.不能直接用Vi 查看。而要使用lastlog命令查看 |
/var/log/secure | 记录验证和授权方面的倍息,只要涉及账户和密码的程序都会记录,比如系统的登录、ssh的登录、su切换用户,sudo授权,甚至添加用户和修改用户密码都会记录在这个日志文件中 |
/var/log/wtmp | 永久记录所有用户的登陆、注销信息,同时记录系统的启动、重启、关机事件。同样,这个文件也是二进制文件.不能直接用Vi查看,而要使用last命令查看 |
/var/tun/ulmp | 记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化,只记录当前登录用户的信息。同样,这个文件不能直接用Vi查看,而要使用w、who、users等命令查看 |
vim /etc/rsyslog.conf #查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.info #表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none #表示某事件的信息不写到日志文件里 (这里比如是邮件)
4、内核及系统日志
由系统服务rsylog统一管理
- 软件包:rsylog-7.4.7-16.el7.x86_6
- 主要程序:/sbin/rsyslohd
- 配置文件:/etc/rsyslog.conf
修改 rsyslog 软件的配置文件(实现日志管理)
- /data/sshd.log:/data表示路径 sshd.log自定义文件名
5、网络日志(远程日志功能)
- 通过网络日志服务器,可以将多台机器的日志放到一台机器上,从而实现日志的统一管理
将192.168.10.11设备的日志放到192.168.12设备上,由192.168.10.12管理
#先关闭两台设备的防火墙和中心防护
#192.168.10.11设备操作:
vim /etc/rsyslog.conf #编辑修改配置文件
$ModLoad imtcp
$InputTCPServerRun 514
#启动19、20行(tcp协议)
systemctl restart rsyslog.service #重新启动rsyslog
ss -natp|grep 514 #查看514进程信息
vim /etc/rsyslog.conf #编辑修改配置文件
*.info;mail.none;authpriv.none;cron.none @@192.168.10.12 #将该设备的日志文件到给192.168.10.12设备
#一个@表示udp协议;两个@@表示tcp协议
systemctl restart rsyslog.service #重新启动rsyslog
logger "this is ri zhi from 192.168.10.11" #随意编辑一个日志(用于验证操作是否成功)
#192.168.10.12设备操作:
vim /etc/rsyslog.conf #编辑配置文件
$ModLoad imtcp
$InputTCPServerRun 514
#启动19、20行(tcp协议)
systemctl restart rsyslog.service #重新启动rsyslog
ss -natp|grep 514 #查看514进程信息
tail -f /var/log/messages #实时查看日志
远程日志功能(图文详解)
- 192.168.10.11设备操作步骤
- 192.168.10.12设备操作步骤
6、日志消息的级别
- 日志内的信息等级越高(数值越小等级越高),说明此信息越重要,要优先处理。按0-7分为8级
级别 | 说明 |
---|---|
0 | EMERG(紧急):会导致主机系统不可用的情况 |
1 | ALERT(警告):必须马上采取措施解决的问题 |
2 | CRIT(严重):比较严重的情况 |
3 | ERR(错误):运行出现错误 |
4 | WARNING(提醒):可能影响系统功能,需要提醒用户的重要事件。 |
5 | NOTICE(注意):不会影响正常功能,但是需要注意的事件 |
6 | INFO(信息):一般信息 |
7 | DEBUG(调试):程序或系统i调试信息等 |
7、日志文件的记录格式
- 时间标签、主机名、子系统名、消息字段组成
字段 | 说明 |
---|---|
时间标签 | 消息发出的日期和时间 |
主机名 | 生成消息的计算机的名称 |
子系统名称 | 发出消息的应用程序的名称 |
消息 | 消息的具体内容 |
8、用户日志分析
保存了用户登录、退出系统等相关信息
- /var/log/lastlog:最近的用户登事件
- /var/log/wtmp:用户登录、注销及系统开、关机事件
- /var/run/utmp:当前登录的每个用户的详细信息
- /var/log/secure:与用户验证相关的安全性事件
分析工具
- users、who、w、last、lastb
- last命令用于查询成功登录到系统的用户记录
- lastb命令用于查询登陆失败的用户记录
9、程序日志分析
由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
- access_log // 记录客户访问事件
- error_log // 记录错误事件
代理服务:/var/log/squid/
- access.log
- cache.log
分析工具
- 文本查看、grep过滤检索、Webmin管理套件中查看
- awk、sed等文本过滤、格式化编辑工具
- Webalizer、Awstats等专用日志分析工具
10、日志管理策略
及时做好备份和归档
延长日志保存期限
- find ./ -mtime +30 -exec rm -rf {} ; 删除30天以前的日志文件
控制日志访问权限
- 日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志
- 将服务器的日志文件发到统一的日志文件服务器
- 便于日志信息的统一收集、整理和分析
- 杜绝日志信息的意外丢失、恶意篡改或删除