深入理解Linux文件系统与日志分析

元信息,inode与block概述

文件数据包括元信息与实际数据

文件存储在硬盘上,硬盘最小存储单元是“扇区”,每个扇区存储512字节

元信息

元信息是关于信息的信息,用于描述信息的结构、语义、用途和用法等,比如文件的创建者,文件的创建日期,文件的大小等

block(块)

操作系统读取硬盘的时候,不会一个个扇区的读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个“块”(block)

连续的八个扇区组成一个block,“块”的大小,最长见的是4KB

是文件存取的最小单位

inode(索引节点)

文件数据存储在“块”中,那么还必须找到一个地方存储文件的元信息,比如文件的创建者,文件的创建日期,文件的大小等

这种存储文件元信息的区域就叫做inode,中文译名为(索引节点),也叫i节点

一个文件必须占用一个inode,但至少占用一个block

存储位置:在这里插入图片描述

inode内容

inode包含很多的文件元信息,但不包含文件名
1、文件的字节数
2、文件拥有者UserID
3、文件的GrouplD
4、文件的rwx权限(读、写、执行)
5、文件时间戳

Linux系统文件有三个主要的时间属性,分别是ctime(change time), atime(access time), mtime(modify time)
1、ctime(change time)是最后一次改变文件或目录(属性)的时间,例如执行chmod, chown 等命令;
2、atime(access time)是最后一次访问文件或目录的时间;
3、mtime(modify time)是最后一次修改文件或目录(内容)的时间

目录文件的结构
●目录也是一种文件
●目录文件的结构

■每个inode都有一个号码,操作系统用inode号码来识别不同的文件
■Linux系统内部不使用文件名,而使用inode号码来识别文件
■对于用户,文件名只是inode号码便于识别的别称

inode号码

常见查看inode号码有这么几种方式
Il -i命令:直接查看当前目录文件名的所对应的inode信息
Is-ai命令: 直接查看当面目录的文件及隐藏文件的所对应的inode信息
stat命令:通过查看文件inode信息而查看到inode号码

文件存储小结

在这里插入图片描述

inode大小

■inode也会消耗硬盘空间
●每个inode的大小
●一般是128字节或256字节
■格式化文件系统时确定inode的总数
■使用df -i命令可以查看每个硬盘分区的inode总数和已
经使用的数量

在这里插入图片描述

inode的特殊作用

■由于inode号码与文件名分离,导致一些Unix/Linux系统具有以下的现象
●当文件名包含特殊字符,可能无法正常删除文件,直接删除inode,也可以删除文件移动或重命名文件时,只改变文件名,不影响inode号码
●打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名

恢复误删除的文件

实验:恢复XFS类型的文件

xfsdump命令格式

xfsdump -f 备份存放位置 要备份的路径或者设备文件

xfsdump备份级别(默认为0)
0:完全备份
1-9:增量备份
xfsdump常用选项:-f,-L,-M,-s
xfsrestore命令格式:xfsrestore -f 恢复文件的位置 存放恢复后文件的位置

xfsdump使用限制

只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份xfs文件系统
备份后的数据只能用xfsrestore解析
不能备份两个具有相同UUID的文件系统

实验过程:在CentOS 7中恢复xfs类型的数据

'第一步:创建一块磁盘并挂载'
[root@localhost ~]# df -hT		'创建一块磁盘,并挂载,此操作不赘述,如有疑问,可查看我的博客“Linux磁盘与文件系统管理--理论与命令配置(https://blog.csdn.net/CN_TangZheng/article/details/102866952)”'
文件系统       类型      容量  已用  可用 已用% 挂载点
/dev/sda2      xfs        20G  3.1G   17G   16% /
devtmpfs       devtmpfs  898M     0  898M    0% /dev
tmpfs          tmpfs     912M     0  912M    0% /dev/shm
tmpfs          tmpfs     912M  9.0M  903M    1% /run
tmpfs          tmpfs     912M     0  912M    0% /sys/fs/cgroup
/dev/sda1      xfs       6.0G  174M  5.9G    3% /boot
/dev/sda5      xfs        10G   37M   10G    1% /home
tmpfs          tmpfs     183M   12K  183M    1% /run/user/42
tmpfs          tmpfs     183M     0  183M    0% /run/user/0
/dev/sdb1      xfs        20G   33M   20G    1% /111


'第二步:在挂载点中创建文件'
[root@localhost ~]# cp /etc/passwd /111		'将/etc/passwd 复制到/111目录下'
[root@localhost ~]# mkdir /111/222		'在/111目录下创建/222目录'
[root@localhost ~]# echo "this is test" > /111/222/test.txt		'创建带有“this is test”内容的文件test.txt,放到/111/222目录下'
[root@localhost ~]#yum install tree -y		'安装tree工具'
    ...此处省略内容
[root@localhost ~]# tree /111		'查看/111结构'
/111
├── 222
│   └── test.txt
└── passwd

1 directory, 2 files


'第三步:备份文件'
[root@localhost ~]# ls /opt		'查看/opt目录下内容'
rh
[root@localhost ~]# xfsdump -f /opt/xfs_dump /dev/sdb1		'将/dev/sdb1中的文件备份到/opt/xfs_dump中'
xfsdump: using file dump (drive_simple) strategy
xfsdump: version 3.1.4 (dump format 3.0) - type ^C for status and control

 ============================= dump label dialog ==============================

please enter label for this dump session (timeout in 300 sec)
 -> xfs_dump		'请输入此转储会话的标签xfs_dump,即将文件备份到xfs_dump中'
session label entered: "xfs_dump"
    ...此处省略内容
 ============================= media label dialog =============================

please enter label for media in drive 0 (timeout in 300 sec)
 -> /dev/sdb1		'请输入驱动器0中的媒体标签/dev/sdb1,即备份/dev/sdb1中的文件'
media label entered: "/dev/sdb1"
...此处省略内容
[root@localhost ~]# ls /opt		'查看/opt下是否有备份文件'
rh  xfs_dump


'第四步:删除文件并尝试恢复'
[root@localhost ~]# rm -rf /111/*		'将/111下的文件都删除掉'
[root@localhost ~]# ls /111		'查看是否删除成功'
[root@localhost ~]# xfsrestore -f /opt/xfs_dump /111		'将/opt/xfs_dump恢复到/111中'
...此处省略内容
xfsrestore: Restore Summary:
xfsrestore:   stream 0 /opt/xfs_dump OK (success)
xfsrestore: Restore Status: SUCCESS
[root@localhost ~]# ls /111		'查看/111中内容是否恢复'
222  passwd
[root@localhost ~]# tree /111		'查看/111中内容是否恢复'
/111
├── 222
│   └── test.txt
└── passwd

1 directory, 2 files
实验成功,恢复完成

实验:恢复EXT类型的文件

删除一个文件,实际上并不清除inode节点和block的数据,只是在这个文件的父目录里面的block中,
删除这个文件的名字。Linux 是通过Link的数量来控制文件删除的,只有当一个文件不存在任何Link的时候,
这个文件才会被删除。在Linux系统运维工作中,经常会遇到因操作不慎、操作错误等导致文件数据丢失的情况,
尤其对于客户企业中一些新手。当然,这里所指的是彻底删除,即已经不能通过“回收站”找回的情况,
比如使用"rm -rf"来删除数据。针对Linux下的EXT文件系统,可用的恢复工具有debugfs、ext3grep、 extundelete 等。
其中extundelete是一个开源的Linux数据恢复工具,支持ext3、ext4 文件系统。
在数据被误删除后,第一时间要做的就是卸载被删除数据所在的分区,如果是根分区的数据遭到误删,|
就需要将系统进入单用户模式,并且将根分区以只读模式挂载。这样做的原因很简单,因为将文件删除后,
仅仅是将文件的inode节点中的扇区指针清零,实际文件还存储在磁盘上,如果磁盘继续以读写模式挂载,
这些已删除的文件的数据块就可能被操作系统重新分配出去,在这些数据库被新的数据覆盖后,
这些数据就真的丢失了,恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险,
以提高恢复数据成功的比例。

下面将介绍使用extundelete工具如何恢复误删除的文件

编译安装extundelete软件包

安装依赖包

e2fsprogs-libs-1.41.12-18.el6.x86-64.rpm

e2fsprogs-devel-1.41.12-18.el6.x86-64.rpm

配置,编译及安装

'第一步:添加一块磁盘备用,安装环境'
[root@wangermazi ~]#cd /mnt/Packages
[root@wangermazi Packages]# df -h		'查看镜像文件是否挂载'
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        20G  3.1G   16G  17% /
tmpfs           932M   76K  932M   1% /dev/shm
/dev/sda1       5.8G  168M  5.4G   3% /boot
/dev/sda3       9.7G  150M  9.0G   2% /home
/dev/sr0        3.6G  3.6G     0 100% /mnt		'挂载在/mnt目录'
[root@wangermazi ~]# cd /mnt/Packages/
[root@wangermazi Packages]# ls		'发现有很多软件包可以安装'
...省略部分内容
zip-3.0-1.el6.x86_64.rpm
zlib-1.2.3-29.el6.i686.rpm
zlib-1.2.3-29.el6.x86_64.rpm
zlib-devel-1.2.3-29.el6.i686.rpm
zlib-devel-1.2.3-29.el6.x86_64.rpm
zsh-4.3.10-7.el6.x86_64.rpm
[root@wangermazi Packages]# rpm -ivh e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm 		'安装e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm'
warning: e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing...                ########################################### [100%]
	package e2fsprogs-libs-1.41.12-18.el6.x86_64 is already installed
[root@wangermazi Packages]# rpm -ivh e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm 		'安装e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm'
warning: e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
error: Failed dependencies:
	libcom_err-devel = 1.41.12-18.el6 is needed by e2fsprogs-devel-1.41.12-18.el6.x86_64
	pkgconfig(com_err) is needed by e2fsprogs-devel-1.41.12-18.el6.x86_64		'报错,发现要先安装依赖包'
[root@wangermazi Packages]# rpm -ivh libcom_err-devel-1.41.12-18.el6.x86_64.rpm 		'安装依赖包'
warning: libcom_err-devel-1.41.12-18.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing...                ########################################### [100%]
   1:libcom_err-devel       ########################################### [100%]
[root@wangermazi Packages]# rpm -ivh e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm 		'继续安装e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm'
warning: e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing...                ########################################### [100%]		'安装成功'

'第二步:编译安装'
'还需要安装一个extundelete-0.2.4.tar.bz2软件,软件在Windows系统中,所以要将软件所在文件夹(cccc)共享,并挂载到Linux中,挂载点我创建为/111'
'Windows共享并挂载在Linux系统中,有疑问可以查看我的博客“Linux 安装及管理程序--理论和命令配置”,地址:https://blog.csdn.net/CN_TangZheng/article/details/102849246'
[root@wangermazi Packages]# mount.cifs //192.168.100.3/cccc /111
Password: 
[root@wangermazi Packages]# ls /111		'发现extundelete-0.2.4.tar.bz2存在'
extundelete-0.2.4.tar.bz2  john-1.8.0.tar.gz
[root@wangermazi Packages]# cd /111		'进入111目录'
[root@wangermazi 111]# tar jxvf extundelete-0.2.4.tar.bz2 -C /opt		'将压缩包解压到opt目录中'
...此处省略信息
[root@wangermazi 111]# ls /opt		'查看是否解压成功'
extundelete-0.2.4  rh
'开始编译安装'
[root@wangermazi 111]# cd /opt/extundelete-0.2.4/		'进入软件文件中查看'
[root@wangermazi extundelete-0.2.4]# ls
acinclude.m4  autogen.sh   configure     depcomp     LICENSE      Makefile.in  README
aclocal.m4    config.h.in  configure.ac  install-sh  Makefile.am  missing      src
[root@wangermazi extundelete-0.2.4]# yum install gcc gcc-c++ -y		'安装编译器'
[root@wangermazi extundelete-0.2.4]# ./configure 		'开始配置'
Configuring extundelete 0.2.4
Writing generated files to disk
[root@wangermazi extundelete-0.2.4]# make		'make编译'
make -s all-recursive
Making all in src
extundelete.cc:571: 警告:未使用的参数‘flags’
[root@wangermazi extundelete-0.2.4]# make install		'make install 安装'
Making install in src
  /usr/bin/install -c extundelete '/usr/local/bin'

'第三步:挂载分区'
[root@wangermazi extundelete-0.2.4]# df -hT		'挂载分区,此操作不赘述,如有疑问,可查看我的博客“Linux磁盘与文件系统管理--理论与命令配置(https://blog.csdn.net/CN_TangZheng/article/details/102866952)”'
Filesystem     Type     Size  Used Avail Use% Mounted on
/dev/sda2      ext4      20G  3.2G   16G  18% /
tmpfs          tmpfs    932M   76K  932M   1% /dev/shm
/dev/sda1      ext4     5.8G  168M  5.4G   3% /boot
/dev/sda3      ext4     9.7G  150M  9.0G   2% /home		'格式化命令,mkfs -t ext4 /dev/sdb1,格式化成ext4格式'
/dev/sr0       iso9660  3.6G  3.6G     0 100% /media/RHEL_6.5 x86_64 Disc 1 
/dev/sr0       iso9660  3.6G  3.6G     0 100% /mnt
/dev/sdb1      ext4      20G  172M   19G   1% /222

'第四步:在挂载点创建文件并删除,尝试恢复文件'
[root@wangermazi extundelete-0.2.4]# cd /222		'进入挂载点'
[root@wangermazi 222]# ls	
lost+found
[root@wangermazi 222]# echo a>a		'创建文件'
[root@wangermazi 222]# echo a>b
[root@wangermazi 222]# echo a>c
[root@wangermazi 222]# ls		'创建成功'
a  b  c  lost+found
[root@wangermazi 222]# rm -rf b		'删除b'
[root@wangermazi 222]# ls
a  c  lost+found
[root@wangermazi 222]# cd ~		'回到家目录'
[root@wangermazi ~]# umount /222		'解挂载'
[root@wangermazi ~]# extundelete /dev/sdb1 --restore-all		'恢复文件'
NOTICE: Extended attributes are not restored.
Loading filesystem metadata ... 160 groups loaded.
Loading journal descriptors ... 28 descriptors loaded.
Searching for recoverable inodes in directory / ... 
0 recoverable inodes found.		'出错,没有文件被恢复,因为删除b的时候没有在家目录操作'
Looking through the directory structure for deleted files ... 
0 recoverable inodes still lost.
No files were undeleted.
[root@wangermazi ~]# ls		'RECOVERED_FILES 是恢复的文件存放的位置'
anaconda-ks.cfg  install.log.syslog  公共的  视频  文档  音乐
install.log      RECOVERED_FILES     模板    图片  下载  桌面
[root@wangermazi ~]# mount /dev/sdb1 /222		'重新挂载/222'
[root@wangermazi ~]# ls /222
a  c  lost+found
[root@wangermazi ~]# rm -rf /222/a /222/c		'在家目录中删除a c'
[root@wangermazi ~]# ls /222
lost+found
[root@wangermazi ~]# umount /222		'解挂载/222'
[root@wangermazi ~]# extundelete /dev/sdb1 --restore-all		'恢复数据'
NOTICE: Extended attributes are not restored.
Loading filesystem metadata ... 160 groups loaded.
Loading journal descriptors ... 29 descriptors loaded.
Searching for recoverable inodes in directory / ... 
2 recoverable inodes found.		'找到两个文件'
Looking through the directory structure for deleted files ... 
0 recoverable inodes still lost.
[root@wangermazi ~]# cd RECOVERED_FILES/		'进入恢复的文件中查找'
[root@wangermazi RECOVERED_FILES]# ls		'误删的文件恢复成功'
a  c
[root@wangermazi RECOVERED_FILES]# cp a /opt 		'将文件复制到目标位置'
[root@wangermazi RECOVERED_FILES]# ls /opt
a  extundelete-0.2.4  rh
'实验恢复成功'

日志文件的分类

日志的功能

用于记录系统,程序运行中发生的各种事件日志文件是用于记录Linux系统中各种运行消息的文件,相当于Linux主机的“日记”
不同的日志文件记载了不同类型的信息,如Linux内核消息,用户登录事件,程序错误等
通过阅读日志,有助于诊断和解决系统故障
在Linux系统中运行的程序通常会把系统消息和错误消息写入相应的日志文件
当主机遭受攻击时,日志文件还可以帮助寻找攻击者留下的痕迹

日志文件的分类

●内核及系统日志
由系统服务rsyslog统一进行管理,日志格式基本相似
1、用户日志
记录系统用户登录及退出系统的相关信息,包括用户名,登录的终端,登录时间,来源主机,正在使用的进程操作等。
2、程序日志
由各种应用程序独立管理的日志文件,记录格式不统一
程序安装后不会生成日志文件,只有在启动的时候才会生成日志文件,没有访问它,日志文件就是空的

日志保存位置

●默认位于:/var/log目录下
●Linux系统本身和大部分服务器程序的日志文件都默认存放在/var/log下
●一部分程序共用一个日志文件,一部分程序使用单个日志文件,而有些大型服务器程序因日志文件较多,所以会在/var/log目录中建立相应的子目录来存放日志文件
●有相当一部分日志文件只有root用户才有权读取,保证了相关日志信息的安全性

主要日志文件介绍

在这里插入图片描述
●/var/log/messages:记录Linux内核消息和各种应用程序的公共日志信息,包括启动,I/O错误,网络错误,程序故障等
●对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的时间记录信息
●/var/log/cron:记录crond计划任务产生的事件信息
●/var/log/dmesg:记录Linux系统在引导过程中的各种事件信息
●/var/log/maillog:记录进入或发出系统的电子邮件活动
●/var/log/lastlog:记录每个用户最近的登录时间
●/var/log/secure:记录用户认证相关的安全事件信息
●/var/log/wtmp:记录每个用户登录,注销及系统启动和停机事件
●/var/log/btmp:记录失败的,错误的登录尝试及验证事件
●yum安装的都存放在/var/log

内核及系统日志

■由系统服务rsyslog统一管理
●软件包: rsyslog-7 .4.7-16.el7.x86_ 64
●主要程序: /sbin/rsyslogd
●配置文件: /etc/rsyslog.conf

日志消息的级别

在这里插入图片描述

用户日志分析

■保存了用户登录、退出系统等相关信息
●/var/log/lastlog:最近的用户登录事件
●/var/log/wtmp:用户登录、注销及系统开、关机事件
●/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件

■分析工具
●users、who、 W、last、 lastb

程序日志分析

■由相应的应用程序独立进行管理
●Web服务: /var/log/httpd/
◆access_ log、 error_ log
●代理服务: /var/log/squid/
◆access.log、cache.log、
●FTP服务: Ivar/log/xferlog

■分析工具
●文本查看、grep过滤检索、Webmin管理套件中查看
●awk、sed等文本过滤、格式化编辑工具
●Webalizer、Awstats等专用 日志分析工具

日志管理策略

■及时作好备份和归档
■延长日志保存期限
■控制日志访问权限
●日志中可能会包含各类敏感信息,如账户、口令等
■集中管理日志
将服务器的日志文件发到统一的日志文件服务器
●便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值