Linux文件系统与日志分析（全）

最新推荐文章于 2024-05-05 21:35:22 发布
最新推荐文章于 2024-05-05 21:35:22 发布
阅读量794 收藏 1
点赞数 3
分类专栏： Linux 文章标签： 大数据 数据库 运维 linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bilson99/article/details/116130250
版权

目 录

一、inode与block

文件数据包括元信息与实际数据，一个文件必须占有一个inode，但至少占用一个block

1、文件、扇区

“扇区”是硬盘最小存储单位，每个扇区存储512字节
在这里插入图片描述

2、块（block）

  • 连续的八个扇区组成一个bolck（4K）
  • 是文件存取的最小单位

3、文件数据

  • 文件数据包括实际数据与元信息（比如文件的创建者、创建日期、文件大小、文件权限等）
  • 文件数据存储在“块”中，而存储文件元信息的区域叫inode

4、inode（索引节点）

  • 一个文件必须占用一个 inode，并且至少占用一个 block。
  • inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
  • 每个inode都有一个号码，操作系统用inode号码来识别不同的文件。
  • Linux系统内部不使用文件名，而使用inode号码来识别文件。
  • 对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。

5、系统中用户访问文件的步骤

第一步：用户在Linux系统中访问一个文件
第二步：系统根据文件名查找对应的inode号码
第三步：通过inode号码，获取inode信息
第四步：根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。

二、inode号

1、三个主要时间属性

ctime(change time)最后一次改变文件或目录(属性)的时间
atime(access time)最后一次访问文件或目录的时间
mtime(modify time)最后一次修改文件或目录(内容)的时间

2、inode的大小

2.1 inode也会消耗硬盘空间

  • 每个inode的大小
  • 一般是128字节或256字节

2.2 格式化文件系统时确定inode的总数
2.3 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
在这里插入图片描述

3、inode号的查询

方法一：

ls -i 文件名  #查普通文件

在这里插入图片描述
方法二：（这个方法较好）

stat 文件名       #查普通文件和目录

在这里插入图片描述

4、inode的特殊作用

由于 inode 号码与文件名分离，导致Linux 系统具备以下几种特有的现象：

  • 文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用；
  • 移动文件或重命名文件，只是改变文件名，不影响 inode 号码；
  • 打开一个文件以后，系统就以 inode 号码来识别这个文件，不再考虑文件名;
  • 文件数据被修改保存后，会生成一个新的 inode 号码。

5、通过inode号删除文件

find ./ -inum inode号 -exec rm -i {} \;
find ./ -inum inode号 -delete

在这里插入图片描述

三、模拟inode节点耗尽故障处理

1、命令步骤

fdisk /dev/sdb               #管理磁盘
mkfs.xfs /dev/sdb1           #格式化磁盘
mkdir /sdb1                  #创建/目录下sdb1目录，用于挂载
mount /dev/sdb1 /sdb1        #挂载
df -i                        #查询可用inode号
模拟inode节点耗尽 
for （（i=1;i<=7700;i++））;do touch /sdb1$i;done;

2、详细图解

①、关闭虚拟机，编辑虚拟机设置，添加新硬盘，这里我们随便给20G,点击下一步并确认，开启虚拟机
在这里插入图片描述

②、查看磁盘列表

fdisk  -l

在这里插入图片描述

③、管理磁盘，创建磁盘，详情请看下图

fdisk /dev/sdb 
n->p->回车->回车->+30M->w

在这里插入图片描述

④、进行挂载之前需先确定文件系统类型，进行格式化，格式华为ext3

mkfs.ext3 /dev/sdb1

在这里插入图片描述

⑤、在根目录下创建一个子目录/sdb1用于挂载

mkdir /sdb1
mount /dev/sdb1 /sdb1

在这里插入图片描述

⑥、查看挂载表，确认文件系统类型更改成功

df -Th

在这里插入图片描述

⑦、查看inode号

df -i

在这里插入图片描述

⑧、使用for循环创建文件，超出inode号范围是否会无法创建

for ((i=1;i<=7700;i++));do touch /sdb1/file$i;done;

在这里插入图片描述

⑨、经过查看挂载表，发现已用容量仅561k，却无法再创建文件

df -h

在这里插入图片描述
⑩、若想再创建文件，仅需将内部文件删除，解除inode占用即可
在这里插入图片描述

四、恢复误删的文件（ext格式）

  • extundelete 是一个开源的 Linux 数据恢复工具，支持 ext3、ext4文件系统。（ext4只能在centos6版本恢复）
  • 下载网址：extundelete-0.2.4.tar.bz2

1、实验步骤

  • 使用fdisk创建分区/dev/sdb2，格式化ext3文件系统
fdisk /dev/sdb
mkfs.ext3 /dev/sdb2
mkdir /sdb2
mount /dev/sdb2 /sdb2

yum -y install e2fsprogs-devel e2fsprogs-libs             #安装依赖包

cd /sdb2
拖入压缩包
tar jxvf extundelete-0.2.4.tar.bz2                        #进行解压缩
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/
  • 模拟删除并执行恢复操作
cd /sdb1
echo a>a
echo a>b
echo a>c
echo a>d
ls
  • 查看文件系统/dev/sdb2下存在哪些文件，i 节点是从 2 开始的，2 代表该文件系统最开始的目录。
extundelete /dev/sdb1 --inode 2			
rm -rf a b
cd ~
umount /sdb2
extundelete /dev/sdb2 --restore-all		恢复/dev/sdb2文件系统下的所有内容

在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES

2、详细过程

①、管理磁盘sdb，创建分区2，将剩余大小全部分配给分区2，并partprobe刷新分区

fdisk /dev/sdb 
n->p->回车->回车->回车->w

在这里插入图片描述

②、进行挂载之前需先确定文件系统类型，进行格式化，格式华为ext3，在根目录下创建一个子目录/sdb1用于挂载，安装相关依赖包

mkfs.ext3 /dev/sdb2
mkdir /sdb2
mount /dev/sdb2 /sdb2
yum -y install e2fsprogs-devel e2fsprogs-libs

在这里插入图片描述

③、下载压缩包，下载好后将压缩包拖入Xshell中，在哪个目录下执行的，压缩包就在哪个目录下

rz -E

在这里插入图片描述

④、将压缩包复制到/sdb2中并切换到/sdb2进行解压缩，再切换进入extundelete目录中将configure进行编译安装

cp extundelete-0.2.4.tar.bz2 /sdb2
cd /sdb2
tar -jxvf extundelete-0.2.4.tar.bz2 
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install

在这里插入图片描述
在这里插入图片描述

⑤、创建软链接，在/sdb2中创建文件写入内容，并查询inode号
(使用extundelete工具查看目录中内容的inode号)

ln -s /usr/local/extundelete/bin/* /usr/bin
echo a>a
echo a>b
echo a>c
echo a>d

在这里插入图片描述

⑥、模拟删除，并使用工具恢复内容，恢复之前需解挂载，恢复的是磁盘内的内容
在这里插入图片描述

在这里插入图片描述

五、xfs 类型文件备份和恢复

CentOS 7 系统默认采用 xfs类型的文件，xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。

1、xfsdump 命令常用的选项

常用命令命令功能
-f指定备份文件目录
-L指定标签 session label
-M指定设备标签 media label
-s备份单个文件，-s 后面不能直接跟路径

2、xfsdump使用限制

  • 只能备份已挂载的文件系统
  • 必须使用root的权限才能操作
  • 只能备份XFS文件系统
  • 备份后的数据只能让xfsrestore解析
  • 不能备份两个具有相同UUID的文件系统（可用 blkid命令查看）

3、实验步骤

  • 使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs  /dev/sdb1
mkdir /sdb1
mount /dev/sdb1 /sdb1
cd /sdb1
cp /etc/passwd ./
mkdir test
touch test/a
  • 使用 xfsdump 命令备份整个分区
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1
  • 模拟数据丢失并使用 xfsrestore 命令恢复文件
cd /sdb1
rm -rf ./*
xfsrestore -f /opt/dump_sdb1 /sdb1

4、详细过程

①、进行格式化，创建挂载点，磁盘挂载，进入挂载点，复制或创建一下目录文件用于实验。
在这里插入图片描述
在这里插入图片描述
②、检查安装xfsdump工具，一般系统默认安装，若是没有，使用rpm -qa | grep “xfsdump”，再使用yum -y install 进行安装
在这里插入图片描述
在这里插入图片描述
③、接下来，进行备份，删除，恢复，使用tree看。
在这里插入图片描述

六、系统日志

1、日志文件

1.1 日志的功能

  • 用于记录系统、程序运行中发生的各种事件
  • 通过阅读日志，有助于诊断和解决系统故障

1.2 日志文件的分类

（1）内核及系统日志

  • 由系统服务 rsyslog 统一进行管理，日志格式基本相似
  • 主配置文件 /etc/rsyslog.conf

（2） 用户日志

  • 记录系统用户登录及退出系统的相关信息
  • 主配置文件/var/log/secure

（3） 程序日志

  • 由各种应用程序独立管理的日志文件，记录格式不统一

1.3 默认保存位置

/var/log

在这里插入图片描述

2、日志文件分析

2.1 内核及系统日志

由系统服务 rsyslog 统一进行管理

  • 软件包：rsyslog-7.4.7-16.el7.x86_64、
  • 主要程序：/sbin/rsyslogd
  • 配置文件：/etc/rsyslog.cont

2.2 日志消息优先级

Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）：

级号优先级级别说明
0EMERG（紧急）会导致主机系统不可用的情况。
1ALERT（警告）必须马上采取措施解决的问题。
2CRIT（严重比较严重的情况。
3ERR（错误）运行出现错误。
4WARNING（提醒）可能影响系统功能，需要提醒用户的重要事件。
5NOTICE（注意）不会影响正常功能，但是需要注意的事件。
6INFO（信息）一般信息。
7DEBUG（调试）程序或系统调试信息等。

2.3 查看rsyslog.conf配置文件

vim /etc/rsyslog.conf		#查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none         /var/log/messages

*.info		#表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none	#表示某事件的信息不写到日志文件里（这里比如是邮件）

在这里插入图片描述

2.4 日志的格式

#公共日志/var/log/messages 文件的记录格式
时间标签：消息发出的日期和时间。
主机名：生成消息的计算机的名称。
子系统名称：发出消息的应用程序的名称。
消息：消息的具体内容。

在这里插入图片描述

在这里插入图片描述

2.5 用户日志

（1）记录系统用户登录及退出系统的相关信息

  • /var/log/secure：记录用户认证相关的安全事件信息。
  • /var/log/lastlog：记录每个用户最近的登录事件。二进制格式
  • /var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
  • /var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

（2）分析工具

  • users、 who、w 、last、lastb
  • last命令用于查询成功登录到系统的用户记录
  • lastb命令用于查询登录失败的用户记录

2.6 程序日志

（1）由各种应用程序独立管理的日志文件，记录格式不统一

1、 Web服务：Nar/log/httpd/

  • access_log //记录客户访问事件
  • error_log//记录错误事件

2、代理服务：/var/log/squid/

  • access.log、cache.log

（2）分析工具

  • 文本查看、grep过滤检索、Webmin管理套件中查看
  • awk、sed等文本过滤、格式化编辑工具
  • Webalizer、Awstats等专用日志分析工具

2.7 常见日志总汇

（1）内核及公共消息日志：
/var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

（2）计划任务日志：
/var/log/cron：记录crond计划任务产生的事件信息。

（3）系统引导日志：
/var/log/dmesg：记录Linux系统在引导过程中的各种事件信息。

（4）邮件系统日志：
/var/log/maillog：记录进入或发出系统的电子邮件活动。

（5）用户登录日志：
/var/log/secure：记录用户认证相关的安全事件信息。
/var/log/lastlog：记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

3、日志管理

（1）及时作好备份和归档

（2）延长日志保存期限

（3）控制日志访问权限

  • 日志中可能会包含各类敏感信息，如账户、口令等

（4）集中管理日志

  • 将服务器的日志文件发到统一的日志文件服务器
  • 便于日志信息的统一收集、整理和分析
  • 杜绝日志信息的意外丢失、恶意篡改或删除
五条悟的小迷妹
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Linux】设备和磁盘分区|磁盘管理|/dev/sda|/dev/sdb
小鱼菜鸟的博客
10-04 2153
目录 查看命令 /dev/hda, /dev/hdb, /dev/sda, /dev/sdb是什么？ 磁盘 分区 原文 查看命令 df 查看磁盘分区 使用fdisk命令查看分区的三种方法： 1、sudo fdisk -l 2、sudo fdisk /dev/sda进入交互模式，然后输入p 3、查看单个硬盘，通过 fdisk -l...
Linux文件系统与日志分析
weixin_53496478的博客
02-08 270
本章结构 inode与block 硬链接与软链接 恢复误删除的文件 分析日志文件 inode和block概述 文件数据包括元信息与实际数据 文件存储在硬盘上，硬盘最小存储单位是"扇区"，每个扇区存储512字节 block（块） 连续八个扇区组成一个 block(4K) 是文件存取的最小单位 inode（索引节点） 中文译名为"索引节点"，也叫i节点 用于存储文件元信息 文件数据包括实际数据与元信息（类似文件...
/dev/sda2占用100%、磁盘占用100%的怎么解决？
热门推荐
qq_1149513559的博客
01-03 1万+
文章目录1. 场景2. 解决方案 1. 场景         在linux环境下安装mysql时，解压时出现解压失败，原因时空间不足！通过 df -h 命令查看磁盘空间，发现**/dev/sda2** 的空间已经被占用了100%，怪不得解压失败。 2. 解决方案 首先使用 lsof -n |grep deleted 命令查看一下已删除、但空间却没有释放的进程 发现最后三个进程，占用空间较大，有180M左右，但远不到18g，
Linux系统的/dev设备目录介绍
yzpbright的博客
01-19 2431
在linux下，/dev目录是很重要的，各种设备都在下面。下面简单总结一下： dev是设备(device)的英文缩写。/dev这个目录包含了所有Linux系统中使用的外部设备。但是这里并不是放的外部设备的驱动程序，这一点和windows，dos操作系统不一样。它实际上是一个访问这些外部设备的端口，但是没有入口。必须通过挂载的方式对他们进行访问。 Linux沿袭Unix的风格，将所有设备认成是一个文件。 /dev/sda是指整个硬盘，实际使用中一般都会有分区，也就是/dev/sda1, /dev/sda2这样
linux分区满了，如何进行扩容_ dev sda2 挂载为 但是home下容量不大(1)
最新发布
2401_83620959的博客
05-05 454
接着用 dh –f，发现实际容量并没有变化，因为我们的系统还不认识刚刚添加进来的磁盘的文件系统，所以还需要对文件系统进行扩容。如果提示sda3找不到，键入：partprobe或者重启虚拟机。键入命令：lvextend -L +24G 加上要扩展的分区名。键入命令：vgextendcl /dev/sda3。键入：xfs_growfs 加上要扩展的分区名。键入命令：pvcreate /dev/sda3。键入：回车（起始跟结束扇区）3. 创建物理卷。键入：n （增加分区）键入：p（增加主分区）
linux分区满了，如何进行扩容_ dev sda2 挂载为 但是home下容量不大
芯_v_648374雨馨博客
04-17 613
2. 下图可以看到，硬盘空间增大为53.7GB，在设备那里可以看到有两个分区，sda1跟sda2（请忽略sda3）。这里一定要写比25大的数，因为他是“增加到”50GB，而不是“增加了25GB”如果提示sda3找不到，键入：partprobe或者重启虚拟机。注意：“起始扇区”那里直接回车，随便乱写容易造成空间浪费。键入命令：vgextendcl /dev/sda3。键入命令：pvcreate /dev/sda3。键入命令：fdish /dev/sda。键入：n （增加分区）键入：p（增加主分区）
磁盘分区基础和LINUX上硬盘分区设备号解释
xiaoshang的专栏
06-19 2125
现在就开始讲讲分区，先明确一下概念： 主分区：一块物理硬盘上可以被独立使用的一部分，一个硬盘最多可以有4个主分区。 扩展分区：为了突破一个物理硬盘只能有4个分区的限制，引入了扩展分区。扩展分区和主分区的地位相当，但是扩展分区本身不能被直接使用，然而可以被继续划分成多个逻辑分区。 逻辑分区：逻辑分区可以有任意多个，但是不能独立存在，多个连续的逻辑分区可做为一个扩展分区。一个硬盘只能有一个扩展分
Linux系统日志文件的打印与存储
02-24
本文将深入探讨Linux系统日志文件的打印与存储。 一、日志文件的位置与类型 在Linux系统中，日志文件通常存储在/var/log目录下，这里包含了多种类型的日志文件： 1. /var/log/messages：主要记录系统级信息和警告...
Linux系统日志全面分析
02-09
"Linux系统日志全面分析" Linux系统日志是指Linux系统中记录操作记录和事件的日志文件，它们可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。Linux系统拥有非常灵活和强大的日志功能，可以根据日志的...
Linux系统故障分析与排查
02-21
在Linux系统中，同样需要进行大量的备份来完成系统的维护工作，并且使用复制粘贴命令即可完成，在接下来的时间中介绍一些关于Linux系统故障分析与排查的操作。日志服务器的部署通过一台RHEL5作为日志服务器A，一台...
嵌入式linux文件系统分析
08-19
"嵌入式Linux文件系统分析" 嵌入式Linux文件系统是指在嵌入式系统中使用的文件系统，旨在满足嵌入式系统的特殊需求。与传统的PC机不同，嵌入式系统通常没有硬盘这样的存储设备，而是使用flash闪存芯片、小型闪存等...
/dev/sda2 占用空间100%的处理方法
weixin_42870497的博客
09-20 1万+
背景介绍 自己在linux上捣鼓hive，当启动hive的时候，它报了设备空间不足的问题。然后自己就一脸懵逼了，因为前几次运行hive还好好的，结果现在就报设备空间不足的问题。 处理过程 使用"df -lh"的命令，查看磁盘情况 之前/dev/sda2的分区是100%，这是我清理后所呈现的61%。 发现根目录/占用空间过多 使用"cd /"命令切换根目录 使用"du -sh *"查看当前目录下每一个的目录和文件的大小汇总 然后查看哪个目录占用空间大，继续使用cd命令进入相应的目录，继续使用du命令进行查
linux 清理磁盘 dev sda2,linux /dev/sda1 磁盘满了，解决办法
weixin_31880471的博客
05-03 5164
一开始系统报“no space left on device”(磁盘空间不足)，然后本来带桌面的ubuntu系统变成只能黑框输入命令的界面了，tab键自动补全命令也用不了了。然后上网查找资料，用df -h 命令查看磁盘使用情况时发现/dev/sda1满了接下来需要使用命令du -sh * 看哪个目录占用空间大(可以从根目录开始，一步步查)cd /du -sh *我发现的是/var/log占了很大的...
Linux lvm分区扩容、给sda2扩容
浴火成诗的博客
09-29 2237
笔记：初始创建服务器未将所有磁盘空间进行分配，数据目录、swap空间需要扩容
Linux基础知识
m0_61785640的博客
08-04 233
TFTP_DIRECTORY="/home/xwq/tftpboot" // 修改了 tftp的工作目录 /home/xwq/tftpboot。默认网关. . . . . . . . . . . . . : 192.168.124.1。IPv4 地址 . . . . . . . . . . . . : 192.168.124.9。子网掩码 . . . . . . . . . . . . : 255.255.255.0。UP LOOPBACK RUNNING MTU:65536 跃点数:1。
Linux 特殊文件（1）——设备文件
好记性不如烂笔头
05-18 1726
一、设备文件 　　Linux下的/dev 目录中有大量的设备文件。主要是块设备文件和字符设备文件。　　块设备文件　　在过去，在添加新磁盘后，往往需要手动增加块设备文件。现在通常我们不需要手动增加块设备文件，运行一下service kudzu start ，系统就会自动为您配置相应的设备。块设备的主要特点是可以随机读写，而最常见的块设备就是磁盘，如/dev/hda1 、/dev/sda2、/de
Linux日志打包脚本
大贺子的博客
06-09 1060
echo "前一个月份为:${oneMonth}"echo "前二个月份为:${twoMonth}"#echo "日志路径:${logPath}"echo "日志打包脚本执行完成"# 删除第二个月的文件。# 删除第二个月的文件。
Linux IO优化：虚拟文件系统与日志型文件系统分析
为了统一这些文件系统的接口，Linux内核引入了虚拟文件系统（Virtual File System，VFS）。VFS作为用户空间与内核空间的桥梁，抽象出一套通用的API，允许用户程序无须关心底层具体的文件系统类型即可进行读写操作。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值