文件系统和日志分析
一、indoe和block
1.1 概述
扇区
文件存储在硬盘上,硬盘的最小存储单位叫“扇区(sector)”,每个扇区为512字节
block
- 一般连续八个扇区组成的一个整体叫做“块”,块就是block
- 一个块是4k大小,是文件存取的最小单位
- 操作系统读取硬盘的时候,就是一次性连续读写多个扇区,也就是一个块一个块的进行读取
- 文件数据存储在“块”中
inode
- 存储文件元信息(文件的创建者、创建日期、大小、文件权限等)的区域就是inode
- 一个文件必须占用一个inode,并且至少占用一个inode
- inode不包含文件名,文件名存放在目录中,但是目录也是一种文件
- 每个inode都有一个号码,系统用inode号码来识别不同的文件,Linux不适用文件名,而是用inode号来识别文件
- 文件名与inode号码是一一对应关系,每个inode号码对应一个文件名
综述
当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找对应的inode号码,通过inode号来获取inode信息,然后再根据inode信息查看该用户是否具有访问这个文件的权限。如果有,就指向对应的数据block,并读取数据
1.2 inode
1.2.1 inode包含的信息
- 文件的字节数
- 文件拥有者的User ID
- 文件的Group ID
- 文件的读、写、执行权限
- 文件的时间
1.2.2 查看命令
- ls -i 文件名
- 查看的只有inode号
- stat 文件名
- 查看的是inode信息
- 查看的是inode信息
1.2.3 Linux文件的三个重要时间属性
-
atime (access time)
- 最后一次访问文件或目录的时间
- 最后一次访问文件或目录的时间
-
ctime (change time)
- 最后一次改变文件或目录(属性)的时间
- 最后一次改变文件或目录(属性)的时间
-
mtime(modify time)
- 最后一次修改文件或目录(内容)的时间
- 最后一次修改文件或目录(内容)的时间
1.2.4 存储小结
硬盘分区后的结构
访问文件的简单流程
1.2.5 inode的大小
inode也会消耗硬盘空间,所以在格式化的时候,操作系统自动会将硬盘分为两个区域,一个是数据区,存放文件数据;一个是inode区,存放inode所包含的信息
- inode一般是128字节或256字节
- 一般不关注inode大小,只关注其总数
- 总数在硬盘分区格式化后就固定好
- df -i查看每个硬盘分区对应的inode总数和已使用数
- df -i查看每个硬盘分区对应的inode总数和已使用数
1.2.6 inode特有功能
-
打开一个文件后,系统就以inode号来识别这个文件,不会考虑文件名
-
如果某一个文件名包含特殊字符,无法正常删除,这时候我们可以直接删除inode号,就可直接删除文件
- find -inum 85 -exec rm -i {} ;
- find -inum 85 -delete (两种命令都可删除)
-
移动文件或者重命名文件,只会改名文件名,inode号不会变化
-
文件数据被修改保存后,就会产生一个新的inode号
二、EXT类型文件恢复
extundelete 是一个开源的Linux 数据恢复工具,支持ext3、 ext4文件系统。(ext4只能在centos6版本恢复)
由于系统为centos 7,所以这边以ext3文件举列
2.1 创建模板分区
- fdisk /dev/sdb
- 创建磁盘分区
- mkfs.ext3 /dev/sdb1
- 格式化分区
- mkdir /data
- 创建挂载目录
- mount /dev/sdb1 /data
- 挂载
2.2 安装软件包
安装依赖包
- 需要使用两个包,e2fsprogs-devel和e2fsprogs-libs
- 通过yum可直接安装,这里已经安装完成了
- 通过yum可直接安装,这里已经安装完成了
编译安装extundelete
-
cd /data
- 进入/data目录
-
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
- 进入网址下载需要的包
- 进入网址下载需要的包
-
tar jxvf extundelete-0.2.4.tar.bz2
- 解压缩
- 解压缩
-
cd extundelete-0.2.4/
- 进入目录
-
./configure --prefix=/usr/local/extundelete && make && make install
- 指定程序安装到/usr/local/extundelete
- 指定程序安装到/usr/local/extundelete
-
ln -s /usr/local/extundelete/bin/* /usr/bin/
- 将命令挂载到/usr/bin/目录,这样系统可以直接调用
- 将命令挂载到/usr/bin/目录,这样系统可以直接调用
2.3 模拟删除并恢复
创建文件
- cd /data
- 进入目录
- echo AA>1
- 创建文件
- 创建文件
- extundelete /dev/sdb1 --inode 2
- 查看文件系统/dev/sdb 1下存在哪些文件
- i 节点是从2开始的,2代表该文件系统最开始的目录
删除文件
-
rm -rf 1 2
- 删除1和2文件
- 删除1和2文件
-
extundelete /dev/sdb1 --inode 2
- 再次查看
- 再次查看
恢复文件
- cd
- 回到家目录
- umount /data
- 解除挂载
- extundelete /dev/sdb1 --restore-all
- 恢复 /dev/sdb1 文件系统下的所有内容
- 恢复 /dev/sdb1 文件系统下的所有内容
- ls RECOVERED_FILES/
- 当前目录下出现了RECOVERED_FILES目录,里面就是恢复后的文件
- 当前目录下出现了RECOVERED_FILES目录,里面就是恢复后的文件
三、xfs类型文件备份和恢复
- Centos 7系统默认采用xfs类型的文件,xfs 类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复
- xfsdump的备份级别有两种:
- 0表示完全备份
- 1-9 表示增量备份
- xfsdump 的备份级别默认为0
3.1 命令
命令格式
xfsdump -f 备份存放位置 要备份的路径或设备文件
常用选项
命令 | 作用 |
---|---|
-f | 指定备份文件目录 |
-L | 指定标签session label |
-M | 指定设备标签media label |
-s | 备份单个文件,-s后面不能直接跟路径 |
使用限制
- 只能备份已挂载的文件系统
- 必须要有 root 权限才可以
- 只能备份 xfs 文件系统
- 备份后的数据只能让 xfsrestore 解析
- 不能备份两个具有相同UUID的文件系统(可以用 blkid 查看)
3.2 实验
创建分区并格式化
- fdisk /dev/ sdb
- mkfs.xfs -f /dev/ sdb1
- 使用 -f 强制格式化
- 使用 -f 强制格式化
挂载
- mkdir /data
- mount /dev/sdb1 /data/
导入自定义文件
- 使用cp复制、mkdir创建目录、touch创建文件
安装工具
- yum install -y xfsdump
- 直接yum安装即可
- 直接yum安装即可
备份
- xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]
- -f 指定存放在哪个目录
- -L 给备份的文件打上标签
- -M 指定设备
- 【】提前输入,否则需要在后续步骤中完成
- ls
恢复
-
cd /data
-
rm -rf *
- 删除所有文件
- 删除所有文件
-
xfsrestore -f /opt/cc_sdb1 /data/
- 恢复文件到 /data 目录
- 恢复文件到 /data 目录
-
ls
四、日志文件
4.1 功能
- 用于记录系统、程序运行中发生的各种事件
- 通过查看日志,有助于诊断和解决系统故障
4.2 分类
-
内核及系统日志
- 由系统服务 rsyslog 统一进行管理,日志格式基本相似
- 主配置文件 /etc/rsyslog.conf
- Linux操作系统本身和大部分服务器程序的日志文件默认都放在 /var/log 下
-
用户日志
- 记录系统用户登录及退出系统的相关信息
-
程序日志
- 由各种应用程序独立管理的日志文件,记录格式不统一
4.3 保存目录
内核及公共消息日志
- /var/log/messages
- 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、Io错误、网络错误、程序故障等
- 对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息
计划任务日志
- /var/log/cron
- 记录crond计划任务产生的事件信息
系统引导日志
- /var/log/dmesg
- 记录Linux系统在引导过程中的各种事件信息
邮件系统日志
- /var/log/maillog
- 记录进入或发出系统的电子邮件活动
用户登录日志
- /var/log/secure
- 记录用户认证相关的安全事件信息
- /var/log/lastlog
- 记录每个用户最近的登录事件。二进制格式
- /var/log/wtmp
- 记录每个用户登录、注销及系统启动和停机事件。二进制格式
- /var/run/btmp
- 记录失败的、错误的登录尝试及验证事件。二进制格式
4.4 日志优先级
优先级
数字等级越小,优先级越高,消息越重要
数字 | 命令 | 作用 |
---|---|---|
0 | EMERG(紧急) | 会导致主机系统不可用的情况 |
1 | ALERT(警告) | 必须马上采取措施解决的问题 |
2 | CRIT(严重) | 比较严重的情况 |
3 | ERR(错误) | 运行出现错误 |
4 | WARNING(提醒) | 可能影响系统功能,需要提醒用户的重要事件 |
5 | NOTICE(注意) | 不会影响正常功能,但是需要注意的事件 |
6 | INFO(信息) | 一般信息 |
7 | DEBUG(调试) | 程序或系统调试信息等 |
举列
查看 rsyslog.conf 文件
- vim /etc/rsyslog.conf
- 查看rsyslog. conf配置文件
- .info:表示info等级及以上的所有等级的信息都写到对应的日志文件里
- mail.none:表示某事件的信息不写到日志文件里(这里比如是邮件)
4.5 格式
进入公共日志 /var/log/messages
- 黄色框:时间标签
- 消息发出的日期和时间
- 红色框:主机名
- 生成消息的计算机的名称
- 蓝色框:子系统名称
- 发出消息的应用程序的名称
- 粉色框:消息
- 消息的具体内容
4.6 分析工具
-
users
- 查看当前多少用户在登录
- 查看当前多少用户在登录
-
who、w
- 查看用户从哪登录
- 查看用户从哪登录
-
last
- 查询成功登录到系统的用户记录
- 查询成功登录到系统的用户记录
-
lastb
- 查询登录失败的用户记录
- 查询登录失败的用户记录
4.7 程序日志分析
-
Web服务:/var/log/httpd/
- access_log:记录客户访问事件
- error_log:记录错误事件
-
代理服务:/var/log/squid/
- access.log
- cache.log
-
分析工具
- 文本查看、grep过滤检索、webmin管理套件查看
- awk、sed等文本过滤、格式化工具
- webalizer、Awstats等专用日志分析工具
- 这里建议直接导入到Windows电脑查看,方便管理
4.8 日志管理策略
- 及时做好备份和归档
- 延长日志保存期限
- 控制日志访问权限
- 日志中可能包含敏感信息
- 集中管理日志
- 将服务器的日志发到统一负责管理日志的服务器
- 便于日志信息的统一收集、整理和分析
- 杜绝日志信息的意外丢失、恶意篡改和删除