Linux文件系统与日志分析

最新推荐文章于 2024-01-08 20:36:09 发布

Zcien

最新推荐文章于 2024-01-08 20:36:09 发布

阅读量242

点赞数

文章标签： linux 服务器运维

本文链接：https://blog.csdn.net/weixin_59325762/article/details/128189144

版权

文章目录

一、Linux文件系统
二、恢复误删除的文件（EXT类型）
三、xfs类型文件备份和恢复
四、日志文件

一、Linux文件系统

1、 inode 与 block

文件数据包括元信息与实际信息；
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。
一个文件必须占用一个inode, 并且至少占用一个block

1.1 block：（块）的概念

连续的八个扇区组成一个block（4k）；
是文件存取的最小单位
操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取

1.2 inode：（索引节点）的概念

存储文件元信息( 比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode
中文译名为“索引节点”，也叫i节点；
用于存储文件元信息
inode不包含文件名。文件名是存放在目录当中的

1.3 inode和block的关系

在这里插入图片描述

Linux 系统中一切皆文件，因此目录也是一种文件
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux 系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名
当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码，获取inode信息;根据inode信息，看该用户是否具有访问这个文件的权限; 如果有，就指向相对应的数据block，并读取数据

1.4 查看文件名对应的inode号码的方式

查看文件名对应的inode号码：           ls -i 文件名
查看文件inode信息中的inode号码：      stat 文件名

实例操作
在这里插入图片描述

1.5 　inode包含文件的元信息（见上图中stat 123.txt展示的信息）

文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限
文件的时间戳等

1.6 Linux系统文件三个主要的时间属性

ctime(change time)：最后一次改变文件或目录(属性)的时间
atime(access time)：最后一次访问文件或目录的时间
mtime(modify time)：最后一次修改文件或目录(内容)的时间

1.7.用户通过文件名打开文件时，系统内部的过程

系统找到这个文件名对应的inode号码
通过inode号码，获取inode信息
根据inode信息，找到文件数据所在的block,读出数据

1.8 硬盘分区后的结构

在这里插入图片描述

1.9 访问文件的简单流程

在这里插入图片描述

1.10.inode的大小

inode也会消耗硬盘空间：每个inode的大小一般是128字节或者256字节；
格式化文件系统时确定inode的总数；
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

1.11 inode特点

由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:

文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;
移动文件或重命名文件，只是改变文件名，不影响inode 号，但是复制的话，会生成一个新的inode号
打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。
文件数据被修改保存后，会生成一个新的inode 号码

1.11.1 删除inode号的方法：

find ./ -inum 68201002 -exec rm -i {} \;
find ./ inum 68201002 -delete

find . /-inum 68201002 | xargs rm -rf

find命令的参数；
pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为command { } ;，注意{ }和\；之间的空格。
-ok：和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。
xargs 命令:
构造参数列表并运行命令，即将接收的参数传递给后面的command 命令执行
将多行输入转换为单行（特殊功效）
优点：
将输入参数整理后，去除换行符，以一个列表形式处理
避免参数过长引发的问题，使用xargs -n 参数适当控制，对于经常产生大量输出的命令如find、locate和grep来说非常有用
xargs 一般是和管道一起使用：
XXcomand | xargs -x comand initial-args

echo "/etc/inittab" | cat   # 直接将标准输入的内容传递给cat
echo "/etc/inittab" | xargs cat   # 将标准输入的内容经过xargs处理后传递给cat
find /etc -maxdepth 1 -name "*.conf" -print0 | xargs -0 -i grep "hostname" -l {}  # 将搜索的文件传递给grep的参数位进行搜索，若不使用xargs，则grep将报错

1.11.2 实例操作

1.11.2.1 移动、复制或者重命名文件，看inode号是否有变化（只有复制文件时inode号会发生改变）
在这里插入图片描述
1.11.2.2 修改文件，看inode号是否会改变（修改之后inode号会改变）

2、硬链接和软链接

2.1 链接文件的分类和对比

在这里插入图片描述

2.2 软硬链接的格式

    硬链接
ln  源文件  目标位置
 
软链接
ln [-s]  源文件或者目录...   链接文件或者目标位置

3、inode节点耗尽故障处理

inode也会消耗硬盘空间，当inode的空间消耗完以后，即使硬盘还有空间，也无法使用

3.1 操作步骤格式

#使用fdisk创建分区/dev/sdb1，分区大小10M即可

fdisk /dev/ sdb .
mkfs.ext4 /dev/ sdb1    #也可以用xfs类型，但是在做实验室创建inode号的时候要比inode总数多创建100多个，可能是统计问题，这里建议用ext4或者ext3方便实验
mkdir /data
mount /dev/sdb1 /data
df -i
 
#模拟inode节点耗尽故障
for ( (i=1; i<=2549; i++) )
>do
>touch /test/ file$i
>done<br><br>或者直接touch {1. . 2549} . txt
 
df -i
df -hT
 
#删除文件恢复
rm -rf /data/ *
df -i
df -hT

3.2 实例操作

新增磁盘并分区
在这里插入图片描述

格式化并挂载

利用for循环，创建文件，将inode空间占满（模拟inode节点耗尽故障）
删除文件恢复

二、恢复误删除的文件（EXT类型）

extundelete是一个开源的Linux数据恢复工具，支持ext3、 ext4文件系统。 (ext4只能在centos6版本恢复)

1、编译安装extundelete软件包

✔ 安装依赖包
◆e2fsprogs-libs-1. 41.12-18.el6.x86_ 64.rpm
◆e2fsprogs-devel-1 .41.12-18.el6.x86_ _64.rpm

✔ 配置、编译及安装
◆extundelete-0.2.4.tar.bz2

#使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.ext3 /dev/ sdb1
mkdir /data
mount /dev/sdb1 /data
df -hT
 
#安装依赖包
yum -y install e2fsprogs-devel e2 fsprogs-libs
 
#编译安装extundelete
cd /opt
wget http: //nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
 
tar jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/ local/jz/ && make && make install
 
ln -s /usr/ local/jz/bin/* /usr/bin/

2、模拟删除并执行恢复操作

cd /data
  echo 111 > 123.txt
  echo 222 > 234.txt
  echo 333 > 456.txt


ls
extundelete /dev/sdb1 --inode 2
#查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录
 
rm-rf 123.txt  234.txt  456.txt
extundelete /dev/sdd1 -- inode 2
cd ~
umount /data/
extundelete /dev/sdb1 --restore-all
#恢复/dev/sdc1文件系统下的所有内容
 
#在当前目录下会出现一-个RECOVERED_ FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES/

3、实例操作

添加一块20G的硬盘，并进行分区

2.对分区进行格式化并进行挂载

3.安装两个依赖包

4.extundelete的安装包的传输以及解压

5.编译安装

6.在挂载目录下创建文件以及内容，并查看

7.删除新建文件，并进行查看是否已删除（模拟故障）

8.解除挂载并恢复文件

三、xfs类型文件备份和恢复

1.介绍：

Centos 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump的备份级别默认为0。

2.xfsdump的命令格式：`xfsdump -f 备份存放位置要备份的路径或设备文件`

3.xfsdump命令常用的选项

-f:指定备份文件目录
-L:指定标签session label
-M:指定设备标签media label
-S:备份单个文件，-s后面不能直接跟路径

4.xfsdump使用限制:

只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

5.操作步骤命令：

#使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/ sdb
partprobe /dev/ sdb
mkfs.xfs [-f] /dev/ sdb1
mkdir /data
mount /dev/ sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir  test
touch test/a
 
#使用xfsdump 命令备份整个分区
rpm -qa| grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump sdb1 -M sdb1 ]
 
#模拟数据丢失并使用 x fsrestore 命令恢复文件
cd /data/
rm -rf ./*
ls
 
xfsrestore -f /opt/dump_ sdb1 /data/

6.实例操作

1.新增磁盘，并进行主区划分
在这里插入图片描述

2.对新增磁盘分区进行格式以及挂载

3.新建文件内容以便后面测试使用

4.查看程序是否安装，指定备份目录和需要备份的磁盘

5.删除创建的文件并进行恢复测试

四、日志文件

1、日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

2.1 内核及系统日志
◆由系统服务rsyslog统一进行管理，日志格式基本相似
◆主配置文件/etc/rsyslog.conf

2.2 用户日志.
◆记录系统用户登录及退出系统的相关信息

2.3 程序日志
◆由各种应用程序独立管理的日志文件，记录格式不统一
（由开发人员定义）

3、日志保存位置

默认位于: /var/log目录下

4、主要日志文件介绍

4.1 内核及公共消息日志
✔ /var/log/messages
记录Linux内核消息及各种应用程序的公共日志信息，包括启动、Io错误、网络错误、程序故障等

对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

4.2 计划任务日志
✔ /var/log/cron
记录crond计划任务产生的事件信息

4.3 系统引导日志
✔ /var/log/dmesg
记录Linux系统在引导过程中的各种事件信息

4.4 邮件系统日志
✔ /var/log/maillog
记录进入或发出系统的电子邮件活动

4.5 用户登录日志
✔ /var /log/lastlog
记录每个用户最近的登录事件,二进制格式

✔ /var/log/secure
记录用户认证相关的安全事件信息

✔ /var/log/wtmp
记录每个用户登录、注销及系统启动和停机事件,二进制格式

✔ /var/run/btmp
记录失败的、错误的登录尝试及验证事件,二进制格式

5、日志配置文件和日志消息等级

5.1 日志配置文件

vim /etc/rsyslog.conf                   #查看rsyslog.conf配置文件
* . info;mail.none;authpriv.none;cron.none  /var/log/messages

*.info          #表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none       #表示某事件的信息不写到日志文件里(这里比如是邮件)