文件系统与日志分析

文件系统与日志分析

文件系统与日志分析

inode与block

1、inode和block概述

• 文件数据包括元信息与实际数据

• 文件存储在硬盘上，硬盘最小储存单位是“扇区”，每个扇区储存512字节

• 一个文件必须占用一个inode，但至少占用一个block

• block（块）

​ 连续的八个扇区组成一个block

​ 是文件存取的最小单位

• inode（索引节点）

  中文译名为“索引节点”，也叫i节点

  用于存储文件元信息

2、inode的内容

inode包含文件的元信息

• 文件的字节数

• 文件拥有者的User ID

• 文件的Group ID

• 文件的读、写、执行权限

• 文件的时间戳

• 。。。

用stat命令可以查看某个文件的inode信息

示列：stat aa.txt

目录文件的结构

• 目录也是一种文件

• 目录文件的结构

每个inode都是一个号码，操作系统用inode号码来识别不同的文件

linux系统内部不使用文件名，而使用inode号码来识别文件

对于用户，文件名只是inode号码便于识别的别称

3、linux系统文件三个主要的时间属性

ctime(change time) 最后一次改变文件或目录（属性）的时间

atime(access time) 最后一次访问文件或目录的时间

mtime(modify time) 最后一次修改文件或目录（内容）的时间

查看文件名对应的inode号码有两种方式:

ls -i文件名
stat 文件名

inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据:另一个是inoie区
存放inode所包含的信息。每个inode的大小，一般是128字节或256字节。
通常情况下不需要关注单个inode的大小，而是需要重点关注inode .总数。inode的总数在格式化时就给定了，

执行df -i命令即可查看每个硬盘分区对应的的inode总数和己经使用的inode数量。

每个inode节点的大小,I一般是128字节或256字节。inode节点的总数，在格式化时就给定了，一般是每1KB或每2KB就设置一个inode
假定在一块1GB的硬盘中，每个inode节点大小为128字节，每1KB就设置一个inode,那么inode table的大小就会达到128NB，占整块硬盘12.8%

由于inode号码与文件名分离，导致Linux系统具备以下几种特有的现象:
1.文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;

2.移动文件或重命名文件，只是改变文件名，不影响inode号码;
3.打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。

4.文件数据被修改保存后，会生成一个新的inode号码。

面试题: touch /opt/abc.txt文件，提示空间满了一》df -h发现，我们的磁盘空间并没有满，甚至只用了50%，问有哪些原因可能导致这个现象

1、有删除的进程占用磁盘空间
2、Inode节点满了

find ./ -inum 52305140 -exec rm -i { } \;    //查找inode号并删除
find ./ -inum 50464299 -delete

硬链接与软链接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(i

恢复误删除的文件

EXT文件类型恢复–extundelete

分析日志文件

日志保存位置默认位于：/var/log目录下
日志的功能： 用于记录系统、程序运行中发生的各种事件；通过阅读日志，有助于诊断和解决系统故障。

1.日志文件的分类
内核及系统日志:由系统服务rsyslog统一管理，格式基本相似；主要配置文件为：/etc/rsyslog.conf
用户日志：记录系统用户登录及退出系统的相关信息
程序日志:由各应用程序独立管理的日志文件，格式不统一
vim /etc/rsyslog.conf查看rsyslong系统管理的日志文件信息

2.主要日志保存文件介绍
内核及公共消息日志： /var/log/messages
记录Linux内核消息及各种应用程序的公共日志信息，包括启动、Io错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

计划任务日志： /var/log/cron
记录crond计划任务产生的事件信息

系统引导日志： /var/log/dmesg
记录Linux系统在引导过程中的各种事件信息

邮件系统日志： /var/log/maillog
记录进入或发出系统的电子邮件活动

用户登录日志： /var /log/lastlog
记录每个用户最近的登录事件,二进制格式

/var/log/secure：
记录用户认证相关的安全事件信息

/var/log/wtmp：
记录每个用户登录、注销及系统启动和停机事件,二进制格式

/var/run/btmp：
记录失败的、错误的登录尝试及验证事件,二进制格式

3.日志消息级别及格式
Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要)

级号 消息 级别 说明
0 EMERG 紧急 会导致主机系统不可用的情况
1 ALERT 警告 必须马上采取措施解决的问题
2 CRIT 严重 比较严重的情况
3 ERR 错误 运行出现错误
4 WARNING 提醒 可能影响系统功能，需要提醒用户的重要事件
5 NOTICE 注意 不会影响系统但值得注意
6 INFO 信息 一般信息
7 DEBUG 调试 程序或系统调试信息等

日志文件基本格式

more /var/log/messages

时间标签+主机名+产生日志的服务或程序名+事件信息

时间标签: 消息发出的日期和时间

主机名: 生成消息的计算机的名称

子系统名称: 发出消息的应用程序的名称

消息: 消息的具体内容

用户日志分析

1、保存了用户登录、退出系统等相关信息

/var/log/lastlog∶ 最近的用户登录事件

/var/log/wtmp∶ 用户登录、注销及系统开、关机事件

/var/run/utmp∶ 当前登录的每个用户的详细信息

/var/log/secure: 与用户验证相关的安全性事件

2、分析工具

users、who、w、last、lastb
last 命令用于查询成功登录到系统的用户记录
lastb 命令用于查询登录失败的用户记录
十、程序日志分析
1、保存了用户登录、退出系统等相关信息

程序日志由相应的应用程序独立进行管理

Web服务: /var/log/httpd/

access_log 记录用户访问事件
error_log 记录错误事件
代理服务: /var/log/squid/

access.log、cache.log
ftp服务：/var/log/xferlog

2、分析工具

文本查看(cat、more、head、less等)、Webmin管理套件中查看
grep、awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

日志管理策略

1、及时作好备份和归档

2、延长日志保存期限

3、控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等
4、集中管理日志

将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除
总结
1.硬盘最小存储扇区为512字节，一个block块由8个扇区组成，block块是文件存取最小单位=4k
2.一个文件对应一个inode号，分区中inode号总数等于文件最大存储数
3.inode用于存储元信息，元信息包含除文件名以外，文件的所有属性信息
4.一个inode对应至少一个block块；文件数据存储在block块中，文件属性存在inode
5.ext文件恢复时一定要对分区进行卸载，防止数据覆盖无法找回
6.XFS文件恢复需要提前备份，建议使用计划任务，定时备份重要文件
7.日志文件利于诊断和解决系统故障
8.日志文件每天都在生产，需要注意及时清理，合理安排日志保存期限并备份日志信息