深入理解Linux文件系统与日志分析

一、inode和block概述

• 文件数据包括元信息与实际数据
• 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
• block（块）
  • 连续的八个扇区组成一个block（4K）
  • 是文件存取的最小单位
• inode（索引节点）
  • 中文译名为“索引节点”，也叫i节点
  • 用于存储文件元信息

数据---block		
元信息---inode

一个独立的文件必须占用一个inode，但至少占用一个block

二、inode的内容

2.1 inode包含文件的元信息

• 文件的字节数
• 文件拥有者的User ID #不包含文件名
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳

2.2 用stat命令可以查看某个文件的inode信息

2.3 Linux系统文件三个主要的时间属性

• ctime（change time）
  • 最后一次改变文件或目录（属性）的时间
• atime（access time）
  • 最后一次访问文件或目录的时间
• mtime（modify time）
  • 最后一次修改文件或目录（内容）的时间

2.4 目录文件的结构

• 目录也是一种文件
• 目录文件的结构
• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件
• Linux系统内部不使用文件名，而是用inode号码来识别文件
• 对于用户，文件名知识inode号码便于识别的别称

2.5 inode的号码

用户通过文件名打开文件时，系统内部的过程

• vi 1.txt —shell翻译 —系统

• 系统找到这个文件名对于的inode号码

• 通过inode号码，获取inode信息

• 根据inode信息，找到文件数据所在的block 读出数据

查看inode号码的方法

• ls -i命令：查看文件名对应的inode号码

ls  -i aa.txt

• stat命令：查看文件inode信息中的inode号码

stat  aa.txt

2.6 inode大小

• inode也会消耗硬盘空间
  • 每个inode的大小
  • 一般是128字节或256字节
• 格式化文件系统时确定inode的总数
• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

2.7 inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

三、链接文件

为文件或目录建立链接文件

链接文件分类

	软连接（又称符号链接）	硬链接
删除原始文件后	失效	仍旧可用
适用范围	适用于文件或目录	只可用于文件
保存位置	与原始文件可以位于不同的文件系统中	必须与原始文件再同一个文件系统（如一个Linux分区）内

四、xfs类型文件备份和恢复

CentOS 7 系统默认采用xfs类型的文件，xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复
xfsdump 的备份级别有两种：0 表示完全备份；1-9 表示增量备份。xfsdump 的备份级别默认为 0。
xfsdump 的命令格式为：
xfsdump -f 备份存放位置 要备份的路径或设备文件

xfsdump 命令常用的选项:
-f：指定备份文件目录
-L：指定标签 session label
-M：指定设备标签 media label
-s：备份单个文件，-s后面不能直接跟路径

xfsdump使用限制：
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)

使用fdisk创建分区/dev/sdc1，格式化xfs文件系统

fdisk  /dev/sdb
partprobe  /dev/sdb
mkfs.xfs [-f]  /dev/sdb1
mkdir  /data
mount  /dev/sdb1  /date/
cd  /data
cp  /etc/passwd  ./
mkdir test
touch  test/a

使用xfsdump命令备份整个分区

rpm  -qa  | grep  xfsdump

yum  install  -y  xfsdump

xfsdump  -f  /opt/dump_sdb1  /dev/sdb1  -L  dump_sdb1  -M  sdb1

模拟数据丢失并使用xfsrestore命令恢复文件

cd  /data/
ls
xfsrestore  -f  /opt/dump_sdb1  /data

xfsdump命令常用的选项：

-f：指定备份文件目录
-L：指定标签session  label
-M：指定标签  session  label
-s：备份单个文件，-s后面不能直接跟路径

五、日志文件

5.1 日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

5.2 日志文件的分类

• 内核及系统日志
  • 由系统服务rsyslog统一进行管理，日志格式基本相似
  • 主配置文件/etc/rsyslog.conf
• 用户日志
  • 记录系统用户登录及退出系统的相关信息
• 程序日志
  • 由各种应用程序独立管理的日志文件

5.3 日志保存位置

默认位于：/var/log目录下

5.4 主要日志文件介绍

内核及公共消息日志  /var/log/messages 

计划任务日志	/var/log/cron 
系统引导日志	/var/log/dmesg 
邮件系统日志	/var/log/maillog 

用户登录日志	/var/log/lastlog
			/var/loglsecure
			/var/log/wtmp
			/var/run/btmp    

​

5.5 常见的一些日志文件

#内核及公共消息日志：
war/loa/messages：记录山in4x内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等，对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

#计划任务日志：
/var/log/cron：记录crond计划任务产生的事件信息。
#系统引导日志：
/var/log/dmesg：记录Linux系统在引导过程中的各种事件信息
邮件系统日志：
/var/log/mailog：记录进入或发出系统的电子邮件活动。
用户登录日志：
/var/log/secure：记录用户认证相关的安全事件信息。
/var/log/lastlog：记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

vim /etc/rsyslog.conf							#查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none		/var/log/messages

*.info			#表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none 		#表示某事件的信息不写到日志文件里(这里比如是邮件)

Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要)

5.6 日志大类

• 系统相关日志
• 应用程序日志

5.7 内核及系统日志

5.7.1 **日志消息的级别

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

5.8 用户日志分析

保存了用户登录、退出系统等相关信息

• /var/log/lastlog：最近的用户登录事件
• /var/log/wtmp：用户登录、注销及系统开、关机事件
• /var/run/utmp：当前登录的每个用户的详细信息
• /var/log/secure：与用户验证相关的安全性事件

分析工具

• ousers 、who、w、last、lastb
• last 命令用于查询成功登录到系统的用户记录
• lastb 命令用于查询登录失败的用户记录

常用分析工具

who、w、last

5.9 程序日志分析

由相应的应用程序独立进行管理

• Web服务：/var/log/httpd/
  • access_log //记录客户访问事件
  • error_log //记录错误事件
• 代理服务：/var/log/squid/
  • access.log、cache.log
• 分析工具
• 文本査看、grep过滤检索、Webmin管理套件中查看
• awk、sed等文本过滤、格式化编辑工具
• Webalizer、Awstats等专用日志分析

shell  正则三剑客  grep  sed  awk

日志管理策略

• 及时作好备份和归档
• （尽量）延长日志保存期限
• 控制日志访问权限
  • 日志中可能会包含各类敏感信息，如账户、口令等
• 集中管理日志
  • 将服务器的日志文件发到统一的日志文件服务器
  • 便于日志信息的统一收集、整理和分析
  • 杜绝日志信息的意外丢失、恶意篡改或删除

六、小结

以inode和block来储存，block是文件存取的最小单位 ，其文件数据包括元信息与实际数据，详细讲述了inode号在Linux中的作用以及用法，随后讲述xfs文件的备份与恢复，可以方便快捷的保存数据，最后则以日志文件来获取信息，每个不同的日志文件都可以得知不同方面的信息结构。