Linux文件和日志分析

一、inode与block概述

• 文件数据包括元信息与实际数据
  • 实际数据存储在块（block）中
  • 元信息存储在inode中
• 文件存储在硬盘上，硬盘最小存储单位是扇区，每个扇区存储512字节
• block（块）
  • 连续的八个扇区组成一个block（4K）
  • 是文件间存取的最小单位
• inode（索引节点）
  • 中文译名为”索引节点“，也叫i节点
  • 用于存储文件元信息
  • 每一个inode都有一个唯一的号码
  • Linux操作系统通过识别inode号来识别文件
  • inode号与文件名一一对应
  • inode号是有限的（消耗完了就不能再创建文件）

二、inode的内容

1、inode包含文件的元信息

• 文件的字节数
• 文件的拥有者
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳
• …

2、查看某个文件的inode信息

stat 文件名

3、Linux系统文件三个主要的时间属性

• ctime（change time）：最后一次改变文件或目录（属性）的时间
• atime（access time）：最后一次访问文件或目录的时间
• mtime（modify time）：最后一次修改文件或者目录（内容）的时间

4、目录文件的结构

目录也是一种文件：

三、inode的号码

1、用户通过文件名打开文件时，系统内部过程

1. 系统找到这个文件名所对应的inode号码
2. 通过inode号码，获取inode信息
3. 根据inode信息，找到文件数据所在的block，读出数据

2、查看inode号码的方法

• ls -i命令： 查看文件名对应的inode号码

    ls -i 文件名
  

• stat命令：查看文件inode信息中的inode号码

    stat 文件名
  

3、文件存储小结

• 硬盘分区后的结构
  

• 访问文件的简单流程图

4、inode的大小

• inode也会消耗硬盘空间（ 每个inode的大小一般是128字节或256字节）
• 格式化文件系统时确定inode的总数
• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

5、inode的特殊作用

由于inode与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符时，可能无法正常删除文件，可以通过删除inode号来删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

四、恢复误删的文件

1、恢复误删的EXT类型的文件

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4。（ext4只能在cenros6版本恢复）
操作步骤：

• 使用fdisk创建分区
• 格式化ext3文件系统（如果创建完分区没有刷新，可以使用partprobe 分区名进行刷新
• 挂载
• 安装依赖包（yum -y install e2fsprogs-devel e2fsprogs-libs
  ）
• 编译安装（extundelete）
• 将压缩包拖到虚拟机里面，然后解压
• 进入解压之后的目录（cd extundelete-0.2.4/）
• 执行这个文件，指定目录，编译，编译安装（./ configure --prefix=/usr/local/extundelete && make && make install）
• 创建软连接（ln -s /usr/ local/extundelete/bin/* /usr/bin/）

模拟删除并执行恢复操作

• 创建文件
• 查看文件系统/dev/sdcl下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。（extundelete / dev/ sdc1 --inode 2）
• 删除文件
• 切换回根目录挂载
• 恢复/ dev / sdcl文件系统下的所有内容，在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件（extundelete / dev / sdcl --restore-all）
• 查看RECOVERED_FILES/
  
  
  
  
  
  

2、恢复误删的XFS类型的文件

使用xfsdump命令格式：xfsdump -f 备份存放位置 + 要备份的路径或设备文件
xfsdump备份级别（默认为0）

• 0：完全备份
• 1-9：增量备份

完全备份就是将一个文件完完整整的备份，增量备份只对当天修改的内容，
完全备份恢复时找到文件即可很快恢复，增量备份则需要先找到文件，然后一个一个恢复

xfsdump常用选项：
-f：指定备份文件目录
-L：指定标签 session label
-M：指定设备标签：media label
-s：备份单个文件，-s后面不能直接跟路径

xfsdump使用限制：

• 只能备份已挂载的文件系统
• 必须使用root的权限才能操作
• 只能备份xfs文件系统
• 备份后的数据只能让xfsrestore解析
• 不能备份两个具有相同UUID的文件系统（可以blkid命令查看）

操作步骤：

• 使用fdisk创建分区，格式化xfs文件系统，挂载
• 创建或复制其他文件到挂载的目录下
• 使用xfsdump命令备份整个分区

xfsdump -f /opt/dump_sdc1 /dev/sdc1 [-L dump_sdb1 -M sdb1]

• 模拟数据丢失并使用xfsrestore命令恢复文件

cd /test/
rm -rf ./*
xfsrestore -f /opt/dump_sdc1 /test

五、日志文件

1、日志的功能和分类

功能：

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

分类：

• 内核及系统日志
  • 由系统服务rsyslog统一进行管理，日志格式基本相似
  • 主配置文件/etc/rsyslog.conf
• 用户日志
  • 记录系统用户登录及退出系统的相关信息
• 程序日志
  • 由各种应用程序独立管理的日志文件，记录格式不统一

2、日志保存位置及日志文件介绍

保存位置：
默认位于==/var/log==目录下

主要日志文件介绍：

日志文件	位置	功能
内核及公共消息日志	/var/log/messages	记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息
计划任务日志	/var/log/cron	记录crond计划任务产生的事件信息。
系统引导日志	/var/log/dmesg	记录Linux系统在引导过程中的各种事件信息。
邮件系统日志	/var/log/maillog	记录进入或发出系统的电子邮件活动。
用户登录日志	/var/log/lastlog	记录每个用户最近的登录事件。
用户登录日志	/var/log/secure	记录用户认证相关的安全事件信息。
用户登录日志	/var/log/wtmp	记录每个用户登录、注销及系统启动和停机事件。
用户登录日志	/var/log/btmp	记录失败的、错误的登录尝试及验证事件
rmp安装日志	/var/log/rpmpkgs	记录系统中安装的各rpm包列表信息。

3、内核及系统日志

• 由系统服务rsyslog统一管理
  • 软件包：rsyslog-7.4.7-16.el7.x86_64
  • 主要程序：/sbin/rsyslogd
  • 配置文件：/etc/rsyslog.conf
• 日志消息的级别

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况，如系统崩溃
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会有影响但是值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

• 日志记录的一般格式
  
  注意：子系统名是相关的应用程序，也可以说是进程名；有的日志消息前面还会有日志级别
• 日志的配置文件
  实际上，Linux系统是如何将每个日志放入对应的文件里，就是通过日志配置文件（/etc/rsyslog.conf）决定

设备字段说明：

设备名	说明
auth	用户认证时产生的日志
authpriv	ssh、ftp等登录信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关活动
mark	rsyslog服务内部的信息，时间标识
news	网络新闻传输协议（nntp）产生的消息
syslog	系统日志
uucp	Unix-to-Unix Copy两个Unix之间的相关通信
console	针对系统控制台的消息
cron	系统执行定时任务产生的日志
kern	系统内核日志
local0~local7	自定义程序使用
mail	邮件日志
user	用户进程

举例：
举例：

• mail.info /var/log/maillog ：比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中
• mail.=info /var/log/maillog ：明确指定日志级别为info，保存至/var/log/maillog
• mail.!info /var/log/maillog ：除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog
• *.info /var/log/maillog ：所有facility的info级别，保存至/var/log/maillog
• mail.* /var/log/maillog ：mail的所有日志级别信息，都保存至/var/log/maillog
• mail.notice;news.info /var/log/maillog ：mail的notice以上记得日志级别和news的info以上的级别保存至/var/log/maillog
• mail,news.crit -/var/log/maillog ：mail和news的crit以上的日志级别保存/var/log/maillog中；“-”代表异步模式

4、用户日志分析

保存了用户登录、退出系统等相关信息

• /var/log/lastlog：最近的用户登录事件
• /var/log/wtmp：用户登录、注销及系统开、关机事件
• /var/run/utmp：当前登录的每个用户的详细信息
• /var/log/secure：与用户验证相关的安全性事件
  分析工具
• users、who、w、last、lastb
• last命令用于查询成功登录到系统的用户记录
• lastb命令用于查询登录失败的用户记录

5、程序日志分析

由相应的应用程序独立进行管理

• Web服务：/var/log/httpd/
  • access_log //记录客户访问事件
  • error_log //记录错误事件
• 代理服务：/var/log/squid/
  • access.log、cache.log
• 分析工具
• 文本查看、grep过滤检索、Webmin管理套件中查看
• awk、sed等文本过滤、格式化编辑工具
• Webalizer、 Awstats等专用日志分析工具

六、日志管理策略

• 及时做好备份和归档
• 延长日志保存期限
• 控制日志访问权限
  • 日志中可能会包含各类敏感信息，如账户、口令等
• 集中管理日志
  • 将服务器的日志文发到统一的日志文件服务器
  • 便于日志信息的统一收集、整理和分析
  • 杜绝日志信息的意外丢失、恶意篡改或删除