Linux 文件系统与日志分析的相关知识

一、indoe和block概述

1、文件数据

包括元信息与实际数据

文件存储在硬盘上，硬盘最小存储单位是扇区，每个扇区存储512字节

文件数据存储在块中。存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此，一个文件必须占用一个inode，并且至少占用一个block。

inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆为文件，因此目录也是一种文件

2、block（块）

连续的八个扇区组成一个block（块）

是文件存取的最小单位

操作系统读取硬盘的时候是一次性连续读取多个扇区，即一个块一个块的读取

3、inode（索引节点）

中文译名为“索引节点”，也叫i节点

用于存储文件元信息

每个inode都有一个号码，操作系统用inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名，所有，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找他对应的inode号码；通告inode号码，获取inode信息；根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据

4、inode的内容

文件的字节数

文件拥有者的User ID

文件的group ID

文件的读、写、执行权限

文件的时间戳

5、查看inode号的方式

ls -i 文件名

stat 文件名

inode号删除

find ./ -inum 52305140 -exec rm -i {} \

find ./ -inum 52305140 -delete

6、Linux系统文件三个主要时间属性

ctime（change time）

最后一次改变文件或目录的时间

atime（access time）

最后一次访问文件或目录的时间

mtime（modify time）

最后一次修改文件或目录的时间

7、inode的内容

目录文件的结构：目录也是一种文件；目录文件的结构

文件名1	inode号码1
文件名2****	inode号码2
…	…

每个inode都有一个号码，操作系统用inode号码来识别不同的文件

Linux系统内部不使用文件名，而使用inode号码来识别文件

对于用户，文件名只是inode号码便于识别的别称

8、inode的号码

用户通过文件名打开文件时，系统内部的过程

通过找到这个文件名对应的inode号码

通过inode号码，获取inode信息

根据inode，找到文件数据所在block，读出数据

9、inode的大小

inode也会消耗硬盘空间：每个inode的大小一般是128字节或256字节

格式化文件系统时确定inode的总数

使用df -i命令可以查找每个硬盘分区的inode总数和已经使用的数量

10、inode的特殊作用

由于inode号码与文件分离，导致一些Unix/Linux系统具有以下的现象

当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件

移动或重命名文件时，值改变文件名，不影响inode号码

打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

二、文件存储小结

1、硬盘分区后的结构

2、访问文件的简单流程

三、节点耗尽故障处理

使用fdisk创建分区、dev/sdb1

fdisk/dev/sdb

mkfs.ext4 /dev/sdb1

mkdir /fff

mount /dev/sdb1 /fff

模拟inode节点耗尽故障

for （（i=1；i=25688;i++））do touch /fff/abc$i;done

df -i

df -hT

删除文件

rm -rf /fff/*

df -i

四、EXT类型文件恢复

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统（ext4只能在centos6版本恢复）

#使用fdisk创建分区/dev/sdc1，格式化ext3文件系统

fdisk /dev/sdb

mkfs.ext3 /dev/sdb1

mkdir /111

mount /dev/sdb1 /111

df -hT

安装依赖包

yum -y install e2fsprogs-devel e2fsprogs-libs

编译安装extundelete

cd /111

wget http：//nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4

tar jxvf extundelete -0.2.4.tar.bz2

cd extundelete-0.2.4/

./configure --prefix=/usr/local/extundelete && make && make install

ln -s /usr/local/extundelete/bin/* /usr/bin/

模拟删除并执行恢复操作

cd /test

echo a>a

echo a>b

echo a>c

echo a>d

ls

extundelete /dev/sdb1 --inode 2 查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录

rm -rf a b

extundelete /dev/sdb1 --inode 2

cd ~

umount /111

extundelete /dev/sdb1 --restore-all --------------恢复/dev/sdb1文件系统下的所有内容

在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件

ls RECOVERED_FILES/

五、xfs类型文件备份和恢复

CentOS 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。

xfsdump的备份级别有两种：0表示完全备份；1-9表示增量具备。xfsdump的备份级别默认为0

xfsdump的命令格式为：

xfsdump -f备份存放位置 要备份的路径或设备文件

xfsdump命令常用选项

-f：指定备份文件目录

-L：指定票钱session label

-M：指定设备标签media label

-s：备份单个文件，-s后面不能直接跟路径

xfsdump使用限制：

①只能备份已挂在的文件系统

②必须使用root的权限才能操作

③只能备份xfs文件系统

④备份后的数据只能让xfsrestore解析

⑤不能备份两个具有相同UUID的文件系统

操作步骤：

使用fdisk创建分区/dev/sdb

partprobe /dev/sdb

mkfs.xfs /dev/sdb1

mkdir /data

mount /dev/sdb1 /data

cd /data

cp /etc/passwd ./

mkdir test

touch test.txt

使用xfsdump命令备份整个分区

rpm -qa | grep xfsdump

yum install -y xfsdump

xfsdump -f /opt/dump_sdb1 /dev/sdb1[-L dump_sddb1 -M sdb1]

模拟数据丢失并使用xfsrestore命令恢复文件

cd /data

rm -rf ./*

ls

xfsrestore -f /opt/dump_sdb1 /data/

六、日志文件

1、日志的功能

用于记录系统、程序运行中发生的各种事件

通告阅读日志，有助于诊断和接解决系统故障

2、日志文件的分类

①内核及系统日志

游戏厅服务rsyslog同一进行管理，日志格式基本相似

主配置文件/etc/rsyslog.conf

②用户日志

记录系统用户登录及退出系统的相关信息

③程序日志

3、日志保存位置

默认位于：/var/log目录下

4、主要日志文件介绍

内核及公共消息日志	/var/logmessages
计划任务日志	/var/log/cron
系统引导日志	/var/log/dmesg
邮件系统日志	/var/log/maillog
用户登录日志	/var/log/lastlog；/var/log/secure；/var/log/wtmp**；/var/run/btmp****

补充：

内核及公共消息日志：

记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的时间记录信息

计划任务日志：

记录crond计划任务产生的时间信息

系统引导日志：

记录Linux系统在引导过程中的各种时间信息

邮件系统日志：

记录进入或发出系统的电子邮件活动

用户登录日志：

/var/log/lastlog：记录用户认证相关的安全事件信息

/var/log/secure：记录每个用户最近的登录时间。二进制格式

/var/log/utmp：记录每个用户登录、注销及系统启动和停机时间。二进制格式

/var/run/btmp：记录失败的、错误的登录尝试及验证时间。二进制格式

分析工具

users、who、w、last、lastb

last命令用于查询成功登录到系统的用户记录

lastb命令用于查询登录失败的用户记录

七、内核及系统日志

1、有系统服务rsyslog统一管理

①软件包

rsyslog-7.4.7-16.e17.x86_64

②主要程序

/sbin/rsyslogd

③查看rsyslogconf配置文件

vim /etc/rsyslog.conf

*.info；mail.none；authpriv.none；cron.none /var/log/messages

*.info-----------------表示info登记以上的所有等级的信息都写到对应的日志文件里

2、日志消息的级别

Linux系统内核日志消息的优先级别（数字等级越小，优先等级越高，消息越重要）

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采用措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的时间
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调式	程序或系统调式等信息

八、程序日志分析

1、有相应的应用程序独立进行管理

web服务：/var/log/httpd/

access_log ---------记录客户访问事件

error_log ----------记录错误事件

代理服务：/var/log/squid/

access.log、cache.log

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

2、日志管理策略

及时做好备份和归档

延长日志保存期限

控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等

集中管理日志

将服务器的日志文件发到统一的日志文件服务器

便于值信息的统一收集、整理和分析

信息 | 一般信息 |
| 7 | DEBUG | 调式 | 程序或系统调式等信息 |

八、程序日志分析

1、有相应的应用程序独立进行管理

web服务：/var/log/httpd/

access_log ---------记录客户访问事件

error_log ----------记录错误事件

代理服务：/var/log/squid/

access.log、cache.log

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

2、日志管理策略

及时做好备份和归档

延长日志保存期限

控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等

集中管理日志

将服务器的日志文件发到统一的日志文件服务器

便于值信息的统一收集、整理和分析

杜绝日志信息的以外丢失、恶意篡改或删除