深入理解Linux文件系统与日志分析
引言:在处理Linux系统的各种故障时,故障的症状时最容易发现的,导致这一故障的原因才是最终排除故障的关键,熟悉Linux系统中常见的日志文件,了解一般故障的分析与解决办法,将有助于管理员快速定位故障点,及时解决各系统问题,另外,Linux系统中通过分区、格式化来创建文件系统,而文件系统的运行与block和inode有关,需要熟悉系统中主要的日志文件和针对日志文件的分析方法,对于生产中遇见的故障和问题,进行排错时,首先就是根据相关故障查找日志内的信息,判断故障发生的原因
一、inode和block
1.inode和block理念
- 文件数据包括元信息域实际数据
- 文件存储在硬盘上,硬盘最小存储单位是"扇区",每个扇区存储512字节
- block(块):连续的八个扇区组成一个block
是文件存取的最小单位(4k)
- inode(索引节点):中文译名为索引节点,也叫 i 节点
用于存储文件元信息
一个文件必须占用一个inode,但至少占用一个block
元信息:文件的属性 创建者属主 权限 文件的创建日期 文件大小 ls查看
实际数据:也就是这个文件编写的内容或是数据
一个扇区是512字节,8个扇区就是4k
文件是存储在硬盘上的,硬盘上的最小存储单位叫做扇区:
2.inode包含的内容
文件数据包括数据与元信息(类似文件属性),文件数据存储在“块”中,存储文件元信息(例如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。
inode不包含文件名,文件名时存放在目录的,Linux系统一切皆文件,因此目录也是一种文件
每个inode 都有一个号码,操作系统用inode号码来识别不同的文件,Linux系统内部不使用文件名,而使用inode号码来识别文件,对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名,所以,当用户在Linux系统中试图访问一个文件时系统会先根据文件名查找它对应的inode号码,通过inode号码,获取inode信息,根据inodexinxi,看这个用户是否具有访问这个文件的权限,如果有就指向对应的数据block,并读取数据
3.stat命令查看某个文件的inode信息
查看文件名对应的inode 号码有两种方式:
ls-i 文件名
stat 文件名
inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域,一个是数据区,存放文件数据,另一个是inode区,存放inode所包含的信息,每个inode的大小一般是128字节或256字节,通常不需要关注单个inode的大小,而是重点关注inode总数,inode的总数咋格式化时就给定了,执行“df -i”命令即可查看每个硬盘分区对应的inode总数和已经使用的inode数量
两种方式查看文件的inode号
查看每个硬盘对应的总数和已经使用的inode数量
4.inode文件元信息
inode文件元信息包含了:
- 文件的字节数:就是字节占了多少空间和文件大小
- 文件拥有者的User ID:Linux识别用户的时候,识别的是它的UID,这个节点里边的元信息存放的是文件拥有者的UID
- 文件的Group ID:
- 文件的读、写、执行权限
- 文件的时间戳:共有三个:ctime指inode创建时间,mtime指文件内容上一次修改的时间,atime指文件最后一次访问时间
- 链接数:有多少文件名指向这个inode
- 文件数据block的位置
用stat命令可以查看某个文件的inode信息
stat aa.txt 实验
df -i或ls -i
查看inode号码使用多少?
小结:inode是节点,节点当中属于元信息(文件属性:大小、权限、属主、属组、时间戳、)
block 块的大小,数据文件:编写文件中的内容或是存放
移动文件inode号不变,复制会变
文件数据 存在块中
文件信息源信息 存在inode
5、Linux系统文件三个主要的时间属性
-
ctime(change time):最后一次改变文件或目录(属性)的时间
-
atime(access time):最后一次访问文件或目录的时间,例如cat查看文件内容
-
mtime(modify time):最后一次修改文件或目录(内容)的时间,
https://www.cnblogs.com/cherishry/p/5885107.html
二、目录文件
目录文件的结构:目录也是一种文件
目录文件的结构
每个inode都有一个号码,操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名,而使用inode号码来识别文件
对于用户而言,文件名只是inode号码便于识别的别称
1.inode的号码
用户通过文件名打开文件时,系统内部的过程
1.系统找到这个文件名对应的inode号码
2.通过inode号码,获取inodexinxi
3.根据inode信息,找到文件数据所在的block,读出数据
查看inode号码的方法:ls -i a.txt 查看文件名对应的inode号码
stat a.txt 查看文件inode信息中的inode号码
删除inode号,文件情况
方法一:
方法二:
2.文件存储情况
2.1硬盘分区后的结构
2.2访问文件的简单流程
用户访问系统内某个文件的时候,系统会查找对应的inode号,因为Linux系统一切皆文件,每个文件对应的inode号是唯一的,找到对应文件后,系统会判断用户是否具备访问权限,如果是就指向对应数据block,不具备访问权限,返回失败信息;
系统找到这个文件名对应的inode号码,判断用户是否有权限,若有权限则通过inode值, 获取inode信息,根据inode信息,找到文件数据所在的block,读出数据;若没有权限则会给出拒绝访问回馈。
3.inode大小
inode也会消耗硬盘空间
每个inode的大小
一般是128字节或256字节
格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
4.inode的特殊作用
由于inode号码与文件名分离,导致一些Unix/Linux系统具有以下的现象
当文件名包含特殊字符,可能无法正常删除文件,直接删除这个文件的inode号,也可以删除文件
移动或重命名时,只改变文件名,不影响inode号码
打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名
for循坏;i=1,i<=7700,i=i+1;
三、链接文件
为文件或目录建立链接文件
链接文件分类
软链接 | 硬链接 | |
---|---|---|
删除原始文件后 | 失效 | 仍旧可用 |
使用范围 | 适用于文件或目录 | 只可用于文件 |
保存位置1 | 与原始文件可以位于不同的文件体统中 | 必须与原始文件在同一个文件系统(如一个Linux分区)内 |
硬链接:ln 源文件 目标位置
软链接:ln -s 源文件或目录… 链接文件或目标位置
四、案例:恢复EXT类型的文件
inode的特殊作用:由于inode号码与文件名分离,导致一些Unix/Linux系统特有的现象
1.有时文件名包含特殊字符,无法正常删除,这时直接删除inode节点,就能起到删除文件的作用
2.移动文件或重命名文件,只是改变文件名,不影响inde号码
3.打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名(不理会文件名了)。因此,系统通常无法从inode号码得知文件名
EXT实验
1.创建一个磁盘分区
2.格式化ext3文件系统,并挂载
3.yum安装extundelete依赖包
4.进入test目录,解压extundelete软件
5.进入extundelete目录下,配置安装路径,编译并安装
6.创建软链接,进入extundelte目录,模拟删除并恢复内容
7.验证内容是否恢复成功;
五、恢复XFS类型的文件
1.xfsdump命令
CentOS 7系统默认采用xfs类型的文件,xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复
xfsdump命令格式:xfsdump -f 备份存放位置,要备份的路径或设备文件
xfsdump 备份级别有两种(默认为0);0(完全备份),1-9:增量备份
xfsdump常用选项
-f: 指定备份文件目录
-L:指定标签session label
-M:指定设备标签指定设备标签media labe……
-s:备份单个文件,-s后面不能直接跟路径
xfsrestore命令格式:xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
2.xfsdump使用限制
- 只能备份已挂载的文件系统
- 必须使用root的权限才能操作
- 只能备份XFS文件系统
- 备份后的数据只能让xfsrestore解析
- 不能备份两个具有相同UUID的文件系统(可用blkid命令查看)
实验:恢复误删除的XFS
partporbe /dev/sdb 和fdisk /dev/sdb 的区别:fdisk 2T以内使用;partporbe 2T以上使用
创建磁盘
格式化分区并挂载
模拟创建文件内容备份
交互式:
无交互式:
模拟删除
数据备份恢复
3.增量备份文件
xfsdump -l -f /opt/dump_sdb1_level_1 /dev/sdb1 -L dumo_sdb1_level_1 -M sdb1
六、日志文件
1.日志的功能:
用于记录系统、程序运行中发生的各种事件
通过阅读日志,有助于管理者诊断和解决系统故障
2.日志文件的分类:
内核及系统日志(由系统服务rsyslog统一进行管理,日志格式基本相似)
用户日志(记录系统用户登录及退出系统的相关信息)
程序日志(由各种应用程序独立管理的日志文件,记录格式不统一)
日志记录内容包括:历史事件:时间、地点、人物、事件(什么时间在什么地方什么人干了什么事产生什么结果)
3.日志文件保存位置
默认位于:/var/log目录下
内核及系统日志由系统服务rsyslog统一管理,主配置文件为/etcc/rsyslog.conf
Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log下
常见的日志文件:
-
内核及公共消息日志:/var/log/messages:记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息
-
计划任务日志:/var/log/cron:记录crond计划任务产生的事件信息
-
系统引导日志:/var/log/dmesg:记录Linux系统在引导过程中的各种事件信息
-
邮件系统日志:/var/log/maillog:记录或发出系统的电子邮件活动
-
用户登录日志:
- /var/log/secrue:记录用户认证相关的安全事件信息、
- /var/log/lastlog:记录每个用户最近的登录事件,二进制格式
- /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件,二进制格式
- /var/log/btmp:记录失败的、错误的登录尝试及验证事件,二进制格式
vim /etc/rsyelog.conf 查看rsyslog.conf配置文件
*info 表示info等级及以上所有等级的信息都写入到对应日志中
mail.none,(不写入)
authpriv.* 认证的信息日志
Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要):
- 0 EMERG(紧急):会导致主机系统不可用的情况
- 1 ALERT(警告):必须马上采取措施解决的问题
- 2 CRIT(严重):比较严重的情况
- 3 ERR(错误):运行出现错误
- 4 WARING(提醒):可能影响系统功能,需要提醒用户的重要事件
- 5 NOTICE(注意):不会影响正常功能,但是需要注意的事件
- 6 INFO(信息):一般信息
- 7 DEBUG(调试):程序或系统调试信息等
4.公共日志
/var/log/messages文件的记录格式
时间标签:消息发出的日期和时间
主机名:生成消息的计算机的名称
子系统名称:发出消息的应用程序的名称
消息:消息的具体内容
程序自己维护日志记录,httpd网站服务程序使用两个日志文件:
access_log:记录客户访问事件
error_log:记录错误事件
5.内核及系统日志
由系统服务rsyslog统一管理:
- 软件包:rsyslog-7.4.7-16.e17.x86_64
- 主要程序:/sbin/rsyslogd
- 配置文件:/etc/rsyslog.conf
6.用户日志分析
保存了用户登录、退出系统等相关信息
/var/log/lastlog
lastlog:查看用户登录和未登录时间
/var/log/wtmp 用户登录、注销及系统开、关机事件
/var/run/utmp 当前登录的每个用户的详细信息
/var/log/secure 与用户验证相关的安全性事件
users :命令用于报告登录每个人用户信息
lastb:用户登录失败的信息
分析工具:users、who、W、last、lastb、lastlog
7.程序日志分析
由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
access_log、error_log
代理服务:/var/log/squid/
access.log\cache.log
FTP服务:/var/log/xferlog
8.分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
9.日志管理策略
及时做好备份和归档
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志:
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理分析
杜绝日志信息的意外丢失、恶意篡改或删除
总结
通过本文的叙述,我们对于Linux系统发生哪些故障,故障发生后我们如何查找有一定的了解,通过哪个目录查找错误问题所在,对于生产中,有时文件误删除后,该怎样进行挽救,需及时做好备份;熟悉了解文件系统inode和block的理念。