文件系统与日志分析

一.inode与block

1.inode与block概述

在文件存储硬盘上，硬盘的最小存储单位叫做“扇区”，每个为512字节。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区,即一次性读取一个"块" ( block )。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小 ,最常见的是4KB ,即连续八个扇区组成一个块。 文件数据存储在"块”中,那么还必须找到一个地方存储文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫inode（索引节点），也叫i节点。 文件数据存储在block块中，文件属性存储在inode

2.inode

（1）inode包含文件的元信息：文件的字节数；文件拥有者的User ID（不包含文件名）；文件的Group ID；文件的读、写、执行权限；文件的时间戳等

stat 文件名 ###查看文件的元信息
stat 文件名 或 ls -i 文件名 ###查看文件的inode号

 （2）Linux系统文件三个主要的时间属性
atime(access time)：最后一次访问文件或目录的时间。
mtime(modify time)：最后一次修改文件或目录(内容)的时间。
ctime(change time)：最后一次改变文件或目录(属性)的时间。

 （3）目录文件的结构：目录也是一种文件；目录文件的结构
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称

 3.inode的号码

用户通过文件名打开文件时，系统内部的过程：
系统找到这个文件名对应的inode号码
通过inode号码，获取inode信息
根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法：
ls -i 文件名 ###查看文件名对应的inode号码
stat 文件名 ###查看文件inode信息中的inode号码

硬盘分区后的结构

访问文件的简单流程

用户通过文件名访问文件的过程：
先根据文件名找到对应的inode号；再通过inode号获取inode信息；再根据inode信息判断用户是否具有访问权限；如果有则指向实际数据的块并读取数据，否则拒绝访问。 

4.inode的大小

inode也会消耗硬盘空间：每个inode的大小，一般是128字节或256字节
格式化文件系统时确定inode的总数

df -i ###查看每个硬盘分区的inode总数和已经使用的数量

 

 5.inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象：
当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件；
移动或重命名文件时，只改变文件名,不影响inode号码；
打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名。

直接查看、修改文件内容或者改变文件名都不会影响 inode号，使用 vi 编辑器修改文件保存退出后会影响 inode号
针对无法正常删除文件名含有特殊符号的文件时，可根据 inode号 来删除文件
find 目录 -inum <inode号> -delete

二.软链接和硬链接

硬链接	软链接
删除源文件不会失效	删除源文件会失效
ln 源文件路径 链接文件路径	ln -s 源文件路径 链接文件路径
只适用于文件	适用于文件和目录
硬链接文件必须要和源文件在一个分区	软链接文件可以和源文件不在一个分区
硬链接文件和源文件inode号相同	软链接文件和源文件inode号不同

三.恢复误删的文件

（1）恢复EXT类型的文件

编译安装extundelete软件包
安装依赖包
e2fsprogs-libs-1.41.12-18.el6.x86 64.rpm
e2fsprogs-devel-1.41.12-18.el6.x86 64.rpm
配置、编译及安装
extundelete-0.2.4.tar.bz2
模拟删除并执行恢复操作

 

 

 

 

 

echo $PATH
ln -s /usr/local/extundelete/bin/extundelete /usr/local/bin/
extundelete /dev/sdb1 --inode 2
umount /dev/sdb1 #解挂
extundelete /dev/sdb1 --restore-all

*注：EXT类型的文件inode号占完，不能再创建新文件

（2）恢复XFS类型的文件

xfsdump -f备份存放位置 要备份的路径或设备文件

xfsdump备份级别(默认为0)：
0:完全备份
1-9:增量备份

	常用选项
-f	指定备份文件目录
-L	指定标签 session label
-M	指定设备标签 media label
-s	备份单个文件，-s 后面不能直接跟路径

xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
模拟删除并执行恢复操作

xfsdump使用限制
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统

*注：XFS类型的文件inode号占完，能再创建新文件，多个10~30左右，XFS有冗余机制

四.分析日志文件

1.日志文件

（1）日志的功能：

用于记录系统、程序运行中发生的各种事件；通过阅读日志，有助于诊断和解决系统故障

（2）日志文件的分类：

①内核及系统日志：由系统服务rsyslog统一进行管理，日志格式基本相似；主配置文件/etc/rsyslog.conf

②用户日志：记录系统用户登录及退出系统的相关信息

③程序日志：由各种应用程序独立管理的日志文件，记录格式不统一

（3）日志保存位置

默认位于:/var/log目录下

	主要日志文件介绍
/var/log/messages	记录Linux内核消息及各种应用程序的公共日志信息，包括启动、10错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，件记录信息
/var/log/cron	记录crond计划任务产生的事件信息
/var/log/dmesg	记录Linux系统在引导过程中的各种事件信息
/var/log/maillog	记录进入或发出系统的电子邮件活动
/var/log/secure	记录用户认证相关的安全事件信息
/var/log/lastlog	记录每个用户最近的登录事件
/var/log/rpmpkgs	记录系统中安装的各rpm包列表信息
/var/log/wtmp	记录每个用户登录、注销及系统启动和停机事件
/var/run/btmp	记录失败的、错误的登录尝试及验证事件

2.内核及系统日志

（1）由系统服务 rsyslog 统一管理

软件包:rsyslog-7.4.7-16.el7.x86_64

主要程序:/sbin/rsyslogd

配置文件:/etc/rsyslog.conf

（2）日志消息的级别

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况。如系统崩溃
1	ALERT	警告	必须马上采取措施解决的问题。如数据库被破坏
2	CRIT	严重	比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能
3	ERR	错误	运行出现错误。不是非常紧急，尽快修复的
4	WARNING	提醒	可能会影响系统功能的事件。不是错误，如磁盘用了85%等
5	NOTICE	注意	不会影响系统但值得注意。无需处理
6	INFO	信息	一般信息。正常的系统信息
7	DEBUG	调试	程序或系统调试信息等。包含详细开发的信息，调试程序时使用
	none		没有优先级，不记录任何日志消息。

 （3）日志记录的一般格式

 

3.用户日志分析

保存了用户登录、退出系统等相关信息

用户日志
/var/log/lastlog	最近的用户登录事件
/var/log/wtmp	用户登录、注销及系统开、关机事件
/var/run/utmp	当前登录的每个用户的详细信息
/var/log/secure	与用户验证相关的安全性事件

（1）分析工具

users 、who、w、last、lastb
last 命令用于查询成功登录到系统的用户记录
lastb 命令用于查询登录失败的用户记录

4.程序日志分析

由相应的应用程序独立进行管理

Web服务:/var/log/httpd/

access_log //记录客户访问事件
error_log //记录错误事件

代理服务:/var/log/squid/

access.log、cache.log

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

5.Linux系统日志管理

journalctl -r ###查看所有日志（默认情况下，只保存本次启动的日志）,-r表示倒序，从尾部看
journalctl -u 服务名 [-f] ### 查看某个服务的日志
journalctl -k ###查看内核日志（不显示应用日志）
journalctl -b -0/-1 ###查看系统 本次/上一次 启动的日志
journalctl _PID=<进程PID> ###查看指定进程的日志
journalctl _UID=<账户UID> ###查看指定用户的日志

*注：集中式收集管理日志方案
rsyslog
shell/python脚本
ELK(elasticsearch+logstash+kibana)
Loki+promtail+grafana