Linux文件系统与日志分析

一. 文件数据概述

1.文件数据包括元信息与实际数据

2.文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节

3.block(块)

• 连续的八个扇区组成一个 block(4K)

• 是文件存取的最小单位

4.inode（索引节点）

• 中文译名为“索引节点”，也叫i节点

• 用于存储文件元信息

二.inode（索引节点）

1.inode包含文件的元信息

• 文件的字节数

• 文件拥有者的User ID

• 文件的Group ID

• 文件的读、写、执行权限

• 文件的时间戳

2.用stat命令可以查看某个文件的inode信息

stat  文件名查看文件inode信息中的inode号码
ls -i  查看文件名对应的inode号码

3.Linux系统文件三个主要的时间属性

• ctime(change time)最后一次改变文件或目录 (属性) 的时间
• atime(access time)
  最后一次访问文件或目录的时间
• mtime(modify time)最后一次修改文件或目录 (内容) 的时间

4.目录文件的结构

• 目录也是一种文件

• 目录文件的结构

5.inode简介

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件

• Linux系统内部不使用文件名，而使用inode号码来识别文件

• 对于用户，文件名只是inode号码便于识别的别称

• 用户通过文件名打开文件时，系统内部的过程
  —系统找到这个文件名对应的inode号码
  —通过inode号码，获取inode信息
  —根据inode信息，找到文件数据所在的block，读出数据

6.inode的大小

• inode也会消耗硬盘空间

每个inode的大小一般是128字节或256字节

• 格式化文件系统时确定inode的总数

df -i  查看每个硬盘分区的inode总数和已经使用的数量

4.inode的特殊作用

• 由于inode号码与文件名分离，导致一些Unix/Liunx系统具有以下现象

—当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件

• 移动或重命名文件时，只改变文件名，不影响inode号

• 打开一个文件后，系统用过inode号码来识别该文件，不在考虑文件名

三.恢复XFS类型的文件

1. xfsdump命令格式

xfsdump -f 备份存放位置 要备份的路径或设备文件

2.xfsdump备份级别(默认为0)

0: 完全备份

1-9: 增量备份

3.xfsdump常用选项:-f、-L、-M、-S

4.xfsrestore命今格式

• xfsrestore f 恢复文件的位置 存放恢复后文件的位置

5.模拟删除并执行恢复操作

6.cpio命令备份和恢复数据

1）概述

• cpio 命令：
  用于从归档包中存入和读取文件，换句话说，cpio 命令可以从归档包中提取文件（或目录），也可以将文件（或目录）复制到归档包中
• 归档包：
  也可称为文件库，其实就是 cpio 或 tar 格式的文件，该文件中包含其他文件以及一些相关信息（文件名、访问权限等）。归档包既可以是磁盘中的文件，也可以是磁带或管道

2）注意事项

• 使用 cpio 备份数据时如果使用的是绝对路径，那么还原数据时会自动恢复到绝对路径下；同理，如果备份数据使用的是相对路径，那么数据会还原到相对路径下

• cpio 命令无法自行指定备份（或还原）的文件，需要目标文件（或目录）的完整路径才能成功读取，因此此命令常与 find 命令配合使用

• cpio 命令恢复数据时不会自动覆盖同名文件，也不会创建目录（直接解压到当前文件夹）

4）应用

find /data print | cpio -o[vcB] > [文件丨设备]

四.日志文件

1.日志的功能

• 用于记录系统、程序运行中发生的各种事件

• 通过阅读日志，有助于诊断和解决系统故障

2.日志文件的分类

• 内核及系统日志

由系统服务rsyslog统一进行管理，日志格式基本相似

主配置文件/etc/rsyslog.conf

• 用户日志

记录系统用户登录及退出系统的相关信息

• 程序日志

由各种应用程序独立管理的日志文件，记录格式不统一

3.日志保存位置

• 默认位于: /varlog目录下

4.日志文件及介绍

• 日志分类

• 常用选项及作用

选项	作用
/var/log/mesages	记录Linux内消息及各种应用程序的共日志信息，包括启动、10误、网络误、程序故等，对于未使用独立日志文件的应用程序或服务件记录信息
/var/log/cron	记录crond计划任务产生的事件信息
/var/log/dmesg	记录Linux系统在引导过程中的各种事件信息
/var/log/maillog	记录进入或发出系统的电子邮件活动
/var/log/lastlog	记录每个用户最近的登录事件
/var/log/rpmpkgs	记录系统中安装的各rpm包列表信
/var/log/secure	记录用户认证相关的安全事件信息
/var/log/wtmp	记录每个用户登录、注销及系统启动和停机事件
/var/run/btmp	记录失败的、错误的登录尝试及验证事件

五.内核及系统日志

1.由系统服务rsyslog 统 管理

• 软件包：-7.4.7-16.el7.X86_64
• 主要程序：/sbin/rsyslogd
• 配置文件：/etc/rsyslog.conf

2.日志消息的级别 (数字等级越小，优先级越高，消息越重要 )

3.日志记录的一般格式

tail /var/log/messages

• 设备字段说明

字段	说明
auth	用户认证时产生的日志
authpriv	ssh、ftp等登录信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关活动
mark	rsyslog服务内部的信息，时间标识
news	网络新闻传输协议(nntp)产生的消息
syslog	系统日志
uucp	Unix-to-Unix Copy 两个unix之间的相关通信
console	针对系统控制台的消息
cron	系统执行定时任务产生的日志
kern	系统内核日志
local0~local7	自定义程序使用
mail	邮件日志
user	用户进程

4.程序日志分析

• 由相应的应用程序独立进行管理

Web服务: ar/log/httpd///记录客户访问事件*access logerror log//记录错误事件

代理服务: /var/log/squid/access.log、cache.log
分析工具
文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

5.日志管理策略

• 及时作好备份和归档
• 延长日志保存期限
• 控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等

• 集中管理日志
  将服务器的日志文件发到统一的日志文件服务器

​ 便于日志信息的统一收集、整理和分析
​ 杜绝日志信息的意外丢失、恶意篡改或删除