Linux------文件系统与日志分析

一.inode与block

1.inode和block概述

✪1. 文件数据：
包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中，存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做“inode”。因此，一个文件必须占用一个inode， 并且至少占用一个block。
✪2. 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。
✪3. block块：
一般连续八个扇区组成一个"块”(block) ，一 个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。
✪4. inode（索引节点）：
不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。

2.block（块）

✪连续的八个扇区组成一个block（4k）
✪是文件存取的最小单位

3.inode（索引节点）的内容

✪inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
✪每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一一个文件名。
✪所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码: 通过inode号码， 获取inode信息; 根据inode信息， 看该用户是否具有访问这个文件的权限;如果有，就指向相对应的数据block， 并读取数据。

3.1inode包含文件的元信息

❉文件的字节数
❉文件拥有的user ID
❉文件的Group ID
❉文件的读，写，执行权限
❉文件的时间戳等

3.2Linux系统文件三个主要的时间属性

✪ctime（change time）
❉最后一次改变文件或目录（属性）的时间
✪atime（access time）
❉最后一次访问文件或目录的时间
✪mtime（modify time）
❉最后一次修改文件或目录（内容）的时间

3.3inode的号码

✪1.用户通过文件名打开文件时，系统内部的过程
1.系统找到这个文件名对应的inode号码
2.通过inode号码，获取inode信息
3.根据inode信息，找到文件数据所在的block，读出数据
✪2.查看inode号码的方法

ls -i 文件名        查看文件名对应的inode号码
stat    文件名      查看文件inode信息中的inode号码

✪3.inode的大小
❉inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据:另一个是inode 区，存放inode 所包含的信息。每个inode 的大小，一般是128字节或256字节。
❉通常情况下不需要关注单个inode 的大小，而是需要重点关注inode 总数。inode 的总数在格式化时就给定了，执行"df-i"命令即可查看每个硬盘分区对应的的inode总数和未经使用的inode数量。

✪4.inode的特殊作用
由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:
1.文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;
2.移动文件或重命名文件，只是改变文件名，不影响inode 号码;
3.打开一个文件以后，系统就以inode 号码来识别这个文件，不再考虑文件名。
4.文件数据被修改保存后，会生成一一个新的inode 号码。
✪5.通过inode号删除文件

find  ./ -inum  inode号   -exec  rm  -i {} \；
find  ./ -inum  inode号   -delete

二.模拟inode号码耗尽的问题处理方法

fdisk /dev/sdb               #创建磁盘分区
mkfs.ext4 /dev/sdb1          #格式化磁盘为ext4
mkdir /data                 #创建目录目录，用于挂载
mount /dev/sdb1 /data       #挂载
df -i                        #查询可用inode号
模拟inode节点耗尽 
for （（i=1;i<=5150;i++））;do touch /data/file$i;done;      用for语句创建5150个文件
touch {1..5150}.txt      创建5150个空文件
df -i              查询inode号
df -Th             查询容量和类型
删除文件恢复
rm -rf /data/*     删除文件
df -i              查询inode号
df -Th             查询容量和类型

三.恢复EXT类型的文件

extundelete 是一 个开源的Linux 数据恢复工具，支持ext3、 ext4文件系统。 ( ext4只能在centos6版本恢复)

##使用fdisk创建分区/dev/sdb2，格式化ext3文件系统
fdisk /dev/sdb          管理磁盘        
partprobe /dev/sdb       刷新磁盘分区
mkfs.ext3 /dev/sdb2      格式化分区文件类型
mkdir /test              创建新的空目录
mount /dev/sdb2 /test    把sdb2挂载到新创建的目录下
df -hT                   查看类型及容量

##安装依赖包
yum -y install e2fsprogs-devel e2fsprogs-libs        安装依赖包

##编译安装extundelete
cd /test                          切换到test目录
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar jxvf extundelete-0.2.4.tar.bz2       解压工具包
cd extundelete-0.2.4/                    切换到extundelete目录
./configure --prefix=/usr/ local/extundelete && make && make install     编译安装
ln -s /usr/local/extundelete/bin/* /usr/bin/          设置软链接
##模拟删除并执行恢复操作
cd /test          切换到test目录
echo a>a            
echo a>b
echo a>C .
echo a>d          创建新文件
ls                查看目录下的文件
extundelete /dev/sdb2 --inode2        查看文件系统/dev/sdb2下存在哪些文件，i节点是从2开始的，2
代表该文件系统最开始的目录。

rm -rf a b         删除文件
extundelete /dev/sdb2 --inode2        查看文件系统/dev/sdb2下存在文件的inode号    
cd ~               
umount /test      解挂载
extundelete /dev/sdb2 -- restore-all       恢复/dev/sdb2文件系统下的所有内容

##在当前目录下会出现一个RECOVERED FILES/目录， 里面保存了E经恢复的文件
ls RECOVERED FILES/              查看文件

四.恢复xfs类型的文件

✪Centos 7系统默认采用xfs类型的文件，xfs 类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。
✪xfsdump 的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump 的备份级别默认为0。

xfsdump -f   备份存放位置  要备份的路径或设备文件

xfsdump 命令常用的选项

选项	作用
-f	指定备份文目录
-L	指定标签session label
-M	指定设备标签media label
-s	备份单个文件，-s后面不能直接跟路径

xfsdump使用限制:
1.只能备份E挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

#使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk   /dev/sdb        管理磁盘
partprobe /dev/sdb     刷新磁盘分区信息
mkfs.xfs [-f] /dev/sdb1    格式化分区为xfs文件系统，当格式化一个已经存在文件系统的分区时，要加上-f
mkdir /date              创建date空目录
mount /dev/sdb1 /date    挂载磁盘到date目录
cd /date               切换目录
cp /etc/passwd ./       备份文件passwd
mkdir test              创建一个新的空目录
touch test/a            在空目录下创建一个文件a
#使用xfsdump 命令备份整个分区
rpm -qa| grep xfsdump       查询是否安装软件xfsdump
yum install -y xfsdump      安装软件xfsdump
xfsdump -f /opt/dump_ sdb2/dev/sdb2 [-L dump_sdb2 -M sdb2]     -L后面是文件名，-M后面是设备名  
#模拟数据丢失并使用xfsrestore 命令恢复文件
cd /date            切换目录
rm -rf ./*           删除此目录下所有文件
ls                   查看
xfsrestore -f /opt/dump sdb1 /date/     用备份文件恢复信息

五.日志文件

1.日志的功能

❉用于记录系统、程序运行中发生的各种事件
❉通过阅读日志，有助于诊断和解决系统故障

2.日志文件的分类

❉内核及系统日志
•由系统服务rsyslog统一进行管理， 日志格式基本相似
•主配置文件/etc/rsyslog.conf
❉用户日志
•记录系统用户登录及退出系统的相关信息
程序日志
•由各种应用程序独立管理的日志文件，记录格式不统一

3.日志保存位置

默认位于：/var/log目录下

4.日志消息的级别

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用
1	ALERT	警告	必须马上采取措施解决问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

5.日志记录的一般格式

✪公共日志/var/ log/messages 文件的记录格式
✪时间标签:消息发出的日期和时间。
❉主机名:生成消息的计算机的名称。
❉子系统名称:发出消息的应用程序的名称。
❉消息:消息的具体内容。

六.日志分析

1.用户日志分析

✪保存了用户登录，退出系统等相关信息
❉/var/log/lastlog:最近的用户登录事件
❉/var/log/wtmp:用户登录、注销及系统开、关机事件
❉/var/run/utmp:当前登录的每个用户的详细信息
❉/var/log/secure:与用户验证相关的安全性事件
✪分析工具
❉users，who，W，last， lastb
❉last命令用于查询成功登录到系统的用户记录
❉lastb命令用于查询登录失败的用户记录

2.程序日志分析

由相应的应用程序独立进行管理
✪Web服务: Ivar/log/httpd/
❉access_ log #记录客户访问事件
❉error_ log #记录错误事件
✪代理服务: /var/log/squid/
❉access.log、cache.log
✪分析工具
✪文本查看、
grep过滤检索、Webmin管理套件中查看
✪awk、sed等文本过滤、格式化编辑工具
✪Webalizer、Awstats等专用日志分析工具

3.日志管理策略

✪及时作好备份和归档
✪延长日志保存期限
✪控制日志访问权限
❉日志中可能会包含各类敏感信息，如账户、口令等
✪集中管理日志
将服务器的日志文件发到统一的日志文件服务器
❉便于日志信息的统一-收集、 整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除