深入理解Linux文件系统与日志文件
block与inode
inode和block概述
- 文件数据包含元信息与实际数据,元信息存储inode,实际数据存储在block
- 文件存储在硬盘上,硬盘最小存储单位是“扇区”,每个扇区存储512字节
- inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件,因此目录也是一种文件。
- 每个inode都有一个号码,操作系统用inode号码来认别不同的文件。Linux系统内部不使用文件名,而使用inode号码来认别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名。
- 所以,当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码。通过inode号码,获取inode信息,根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据
- block(块)
- 连续的八个扇区组成一个block(4k)
- 是文件存取的最小单位
操作系统在读取硬盘时,是一次性连续读取多个扇区,即一个块一个块的读取
- inode(索引节点)
- 中文译名为“索引节点”,也称“i节点”
- 用于存储文件元信息
inode的内容
- inode包含文件的元信息
- 文件的字节数
- 文件拥有者的User ID
- 文件的Group ID
- 文件的读、写、执行权限
- 文件的时间戳
- 但不包含文件名
- 用stat命令可以查看某个文件的inode信息
例如:stat qz.txt - Linux系统文件三个主要的时间属性
- ctime(change time)
最后一次改变文件或目录(属性)的时间 - atime(access time)
最后一次访问文件或目录的时间 - mtime(modify time)
最后一次修改文件或目录(内容)的时间
- ctime(change time)
- 每个indoe都有一个号码,操作系统用inode号码来识别不同的文件
- Linux系统内部不使用文件名,而使用Indoe号码来识别文件
- 对于用户,文件名只是indoe号码便于识别的别称
- 目录也是一种文件
inode的号码
- 用户通过文件名打开文件时,系统内部的过程
- 系统先找到这个文件名对应的inode号码
- 通过indoe号码,获取inode信息
- 根据inode信息,找到文件数据所在的block,读出数据
- 查看inode号码的方法
- ls -i(查看文件名对应的inode号码)
例如:ls -i qz.txt - stat(查看文件inode信息中的inode号码)
例如:stat qz.txt
- ls -i(查看文件名对应的inode号码)
inode的大小
- inode也会消耗硬盘空间,每个inode的大小一般为128字节或256字节
- 格式化文件系统时会确定inode的总数
- 格式化的时候,操作系统会自动将硬盘分成两个区。一个是数据区,存放文件数据;另一个是inode区,存放inode所包含的信息
- df -i(可以查看每个硬盘分区的inode总数和已经使用的数量)
inode的特殊作用
- 由于inode号码与文件名分离,导致一些Unix/Linux系统具有以下的现象
1.当文件名包含特殊字符,可能无法正常删除文件,这时直接删除inode,能够起到删除文件的作用
2.移动或重命名文件时,只改变文件名,不影响inode号码
3.打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名
4.文件数据被修改后,会生成一个新的inode号码 - 使用find命令可以删除inode号
find ./ -inum 52201242 -exec rm -i {} ;
find ./ - inum 55156844 -delete
inode节点耗尽故障处理
fdisk /dev/sdb
使用fdisk创建分区/dev/sdb1,因为实验用,所以分区大小30M即可
mkfs.ext4 /dev/sdb1
格式化(使用ext4文件类型,因为更准确)
mkdir /test
创建目录
mount /dev/sdb1 /mnt
挂载
df -i
查看
for ((i=1; i<=7680; i++));do touch /test/file$i;done
使用for命令通过循环的方式创建目录
touch {1…7680}.txt
或者使用touch命令创建目录
df -i
df -hT
查看还有多少空间
rm -rf /test/*
删除该文件后即可恢复
df -i
df -hT
查看
访问文件的流程示意图
硬链接与软链接
- 链接文件分类
软链接 又称符号链接 | 硬链接 | |
---|---|---|
删除原文件后 | 失效 | 仍旧可用 |
使用范围 | 适用于文件或目录 | 只可用于文件 |
保存位置 | 与原文件可以位于不同的文件系统中 | 必须与原文件在同一个文件系统(如同一个Linux分区)内 |
- 硬链接
- ln 源文件 目标位置
- 软链接
- ln [-s] 源文件或目录… 链接文件或目标位置
恢复误删除的文件
EXT 类型文件恢复
- extundelete 是一个开源的 Linux 数据恢复工具,支持ext3、ext4(只能在CentOS6版本中恢复)文件系统。
操作步骤
fdisk /dev/sdc
使用fdisk创建分区/dev/sdc1
mkfs.ext3 /dev/sdc1
格式化
mkdir /test
创建
mount /dev/sdc1 /test
挂载
df -hT
查看
yum -y install e2fsprogs-devel e2fsprogs-libs
通过yum安装依赖包
extundelete
编译安装
cd /test
wget 使用wget通过该网站下载进行安装
tar jxvf extundelete-0.2.4.tar.bz2
解压
cd extundelete-0.2.4/
./configure - -prefix=usr/local/extundelete && make && install
使用源码编译进行安装
ln -s /usr/local/extundelete/bin* /usr/bin/
模拟删除并恢复操作
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
ls
extundelete /dev/sdc1 - -inode2
查看文件系统/dev/sdc1下存在哪些文件,i节点是从2开始的,2代表该文件系统最开始的目录
rm -rf a b
extundelete /dev/sdc1 - -inode 2
cd~
umount /test
解挂
extundelete /dev/sdc1 - -restore-all
恢复/dev/sdc1 文件系统下的所有内容。然后会在当前目录下出现一个RECOVERED_FILES/目录,里面包含了已经恢复的文件
ls RECOVERED_FILES/
查看
xfs 类型文件备份和恢复
- CentOS7 系统默认采用xfs类型的文件,xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复
- xfsdump的备份级别有两种
0表示完全备份
1-9表示增量备份
xfsdump的备份默认级别为0 - xfsdump的命令格式
命令 | 说明 |
---|---|
-f | 指定备份文件目录 |
-L | 指定标签session label |
-M | 指定设备标签 media label |
-s | 备份单个文件,-s后面不能直接跟路径 |
- xfsdump使用限制
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用blkid命令进行查看)
操作步骤
fdisk /dev/sdv
使用fdisk创建分区
partprobe /dev/sdb
刷新
mkfs.xfs -f /dev/sdb1
使用-f进行强制格式化
mkdir /data
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a
使用xfsdump命令备份整个分区
rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]
模拟数据丢失并使用xfsrestore命令恢复文件
cd /data/
rm -re ./*
ls
xfsrestore -f /opt/dump_sdb1 /data/
日志文件
日志文件概述
-
日志的功能
- 用于记录系统、程序运行中发生的各种事件
- 通过阅读日志,有助于诊断和解决系统故障
-
日志的分类
- 内核系统日志
由系统服务rsyslog统一进行管理,日志格式基本相似
主要配置文件/etc/rsyslog.conf - 用户日志
记录系统用户登录及退出系统的相关信息 - 程序日志
由各种应用程序独立管理的日志文件,记录格式不统一
- 内核系统日志
-
系统日志默认保存在:/var/log目录下
-
系统日志主要程序:/sbin/rsyslogd
-
系统日志配置文件:/etc/rsyslog.conf
-
系统日志软件包:rsyslog-7.4.7-16.el7.x86_64
Linux主要包含的日志文件
内核及公共消息日志
- /var/log/messages:记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志
- /var/log/cron:记录crond计划任务产生的事件信息。
系统引导日志
- /var/log/dmesg: 记录Linux系统在引导过程中的各种事件信息。
邮件系统日志
- /var/log/maillog:记录进入或发出系统的电子邮件活动。
用户登录日志
- /var/log/secure:记录用户认证相关的安全事件信息。
- /var/log/lastlog:记录每个用户最近的登录事件。二进制格式
- /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。二进制格式
- /var/run/btmp:记录失败的、错误的登录尝试及验证事件。二进制格式
vim /etc/rsyslog.conf
查看reyslog.conf配置文件
例如:
Linux系统的日志消息级别
- Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)
级别 | 词组 | 说明 |
---|---|---|
0 | EMERG(紧急) | 会导致主机系统不可用的情况 |
1 | ALERT(警告) | 必须马上才去措施解决的问题 |
2 | CRIT(严重) | 比较严重的情况 |
3 | ERR(错误) | 运行出现错误 |
4 | WARNING(提醒) | 可能影响系统功能,需要提醒用户的重要事件 |
5 | NOTICE(注意) | 不会影响正常功能,但是需要注意的事件 |
6 | INFO(信息) | 一般信息 |
7 | DEBUG(调试) | 程序或系统调试信息等 |
Linux系统中用户日志的查询命令及日志记录格式
- users、who、w、last、lastb
- last命令用于查询成功登陆到系统的用于记录
- lastb命令用于查询登陆失败的用户记录
日志记录的一般格式
程序日志分析
- Web服务:/var/log/httpd/
access_log 记录客户访问事件
error_log 记录错误事件 - 代理服务:/var/log/squid/
access.log 记录客户访问事件
cache.log 记录缓存事件 - 分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
一般通过Windows和Linux挂载的方法,从Linux系统中导出日志查看,或者在Windows中使用WinSCP查看
日志管理策略
- 及时做好备份和归档
- 延长日志保存期限
- 控制日志访问权限,因为日志中可能会包含各类敏感信息,如账号、口令等
chmod 640 (主成员能读、能写,自己组成员能读,其他用户没有任何权限) - 集中管理日志
将服务器的日志文件发到同一的日志文件服务器
便于日志信息的同一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除