linux文件系统与日志分析

最新推荐文章于 2024-08-23 08:57:21 发布

xinheng233

最新推荐文章于 2024-08-23 08:57:21 发布

阅读量133

点赞数

分类专栏： linux 文章标签： linux 服务器运维

本文链接：https://blog.csdn.net/Yusheng9527/article/details/121519367

版权

linux 专栏收录该内容

28 篇文章 0 订阅

订阅专栏

inode与block

文件数据包括元信息与实际数据（元信息>>inode,数据>>block）
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
block（块）
- 连续的八个扇区组成一个block（4k）
- 是文件存储的最小单位
- 一般连续八个扇区组成一个"块"（block），一个块是4K大小，是文件存取的最小单位，文件数据存储在“块”中。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。
inode（索引节点）
- 中文译名为“索引节点”，也叫 i节点
- 用于存储文件元信息
- 文件数据包括实际数据与元信息（类似文件属性）。
- 文件数据存储在"块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode。
- 因此一个文件必须占用一个inode，并且至少占用一个 block。
- inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
- 每个inode都有一个号码。操作系统用inode号码来识别不同的文件。Linux内部不使用文件名，而使用inode号来识别文件。
- 文件名只是inode号便于识别的别称。文件名和inode号是一一对应的关系，每个inode号都对应一个文件名。
总结：当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码，获取inode信息，根据inode信息，看该用户是否具有访问这个文件的权限;如果有，就指向相对应的数据block，并读取数据。
inode包含文件的元信息
- 文件的字节数
- 文件拥有者的User ID
- 文件额Group ID
- 文件的读、写、执行权限
- 文件的时间戳
查看某个文件的inode信息：
- 用stat命令：stat aa.txt
- 用ls命令：ls -i
linux系统文件三个重要的时间属性
- ctime（change time）
  最后一次改变文件或目录（属性）的时间
- atime（access time）
  最后一次访问文件或目录的时间
- mtime（modify time）
  最后一次修改文件或目录（内容）的时间
目录文件的结构
- 目录也是一种文件
- 目录文件的结构
- 每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称
同用户通过文件名打开文件时，系统内部的过程
1. 系统找到这个文件名对应的inode号码
2. 通过inode号码，获取inode信息
3. 根据inode信息，找到文件数据所在的block，读出数据查看inode号码的方法
硬盘分区后的结构

文件名目录项目录快
元信息 inode inode表区块
数据 block block数据区
访问文件额简单流程

文件名	目录项	目录快
元信息	inode	inode表区块
数据	block	block数据区

inode的特点

inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盏分成两个区域。
- 一个是数据区，存放文件数据
- 另一个是inode区，存放inode所包含的信息。
- 每个inode的大小，一般是128字节或256字节
通常情况下不需要关注单个inode的大小，而是需要重点关注inode总数。inode的总数在格式化时就给定了。
执行“df -i”命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量。
由于inode号码与文件名分离，导致Linux系统具备以下几种特有的现象：
- 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用
- 移动文件或重命名文件，只是改变文件名，不影响inode号码
- 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名
- 文件数据被修改保存后，公生成一个新的inode号码。
通过inode号删除文件
- find 目标目录 -inum 具体inode号 -delete
- find 目标目录 -inum 具体inode号 -exec rm -rf {} ;
- find 目标目录 -inum 具体inode号 | xargs rm -rf
inode的特殊作用
- 由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象
  - 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
  - 移动或重命名文件时，只改变文件名，不影响inode号码
  - 打开一个文件后，系统通过inode号码来识别该文件,不再考虑文件名

硬链接与软链接

链接文件

链接文件分类

	软链接（符号链接）	硬链接
删除源文件后	失效	仍旧可用
适用范围	适用于文件或目录	只可用于文件
保存位置	与源文件可以位于不同文件系统中	必须与源文件位于同一文件系统中（如一个linux分区）内

ln -s 源文件或目录链接文件或目标位置

软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名，如果删除了源文件，打开软链接文件就会报错

inode节点耗尽故障处理

处理磁盘分区，格式化（ext4）并挂载

df -hT
/dev/sdb1 ext4 19M 332K 17M 2% /opt  ##建立20M磁盘分区，格式化为ext4，挂载到/opt
df -i /dev/sdb1 ##查看inode可用数
for ((i=1;i<=inode可用数;i++))   ##利用for循环创建可用数个文件
//> do
//> touch /opt/$(i).txt       ##利用touch（）.txt方式创建
//> done
df -i /dev/sdb1  ##发现inode节点数被耗尽

恢复误删除的文件

EXT类型文件恢复

建立磁盘分区，格式化（ext3）并挂载

/dev/sdc1 ext3 20G 45M 19G 1% /opt  ##建立20G磁盘分区，格式化为ext3文件系统，挂载到opt目录

编译安装extundelete工具

yum -y install e2fsprogs-libs e2fsprogs-devel  ##安装依赖包
tar -jvxf extundelete-0.2.4.tar.bz2  ##解压缩
./configure --prefix=/usr/local/extundelete| && make && make install   ##指定位置编译安装

创建文件，并赋予内容，查看inode号

echo a>文件名 ##创建文件
ls  ##查看inode号
rm -rf a b  ##删除a、b，再次查看inode   （模拟故障）
umount /opt -lf  ##解挂载
extundelete /dev/sdc1  --restore-all  ##恢复操作
ls  ##查看会发现生成一个目录  
cd  生成的目录 ##之前删除的文件会再次恢

xfs类型文件备份和恢复

概述：CentOS 7 系统默认采用 xfs类型的文件，xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种
- 0表示完全备份（默认为0）
- 1-9表示增量备份
xfsdump 命令格式
- xfsdump -f 备份存放位置要备份的路径或设备文件
xfsdump 命令常用的选项
- -f：指定备份文件目录
- -L：指定标签 session label
- -M：指定设备标签 media label
- -s：备份单个文件，-s 后面不能直接跟路径
sfsdump使用限制
- 只能备份已挂载的文件系统
- 必须使用root的权限才能操作
- 只能备份 XFS 文件系统
- 备份后的数据只能让 xfsrestore 解析
- 不能备份两个具有相同 UUID 的文件系统（可用 blkid命令查看）

分析日志文件

日志文件

日志的功能
- 用于记录系统、程序运行的发生的各种事件
- 通过阅读日志，有助于诊断和解决系统故障

日志文件的分类

内核及系统日志
- 由系统服务rsyslog统一进行管理，日志格式基本相似
- 主配置文件/etc/rsyslog.conf
用户日志
- 记录系统用户登录及退出系统的相关信息
程序日志
- 由各种应用程序独立管理的日志文件，记录格式不统一

日志保存位置

主要日志文件介绍

内核及公共消息日志

/var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于为使用独立日志文件的应用程序过服务，一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志

/var/log/cron：记录crond计划任务产生的事件信息
系统引导日志

/var/log/dmesg：记录Linux系统在引导过程中的各种事件信息
邮件系统日志

/var/log/maillog：记录进入或发出系统的电子邮件活动
用户登录日志

/var/log/secure：记录用户认证相关的安全事件信息
/var/log/lastlog：记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/utmp：记录失败的、错误的登录尝试及验证事件。二进制格式

内核及系统日志

由系统服务rsyslog 统一管理
- 软件包：rsyslog-7.4.7-16.el7.x86_64
- 主要程序：/sbin/rsyslogd
- 配置文件：/etc/rsyslog.conf

设备字段说明

auth	用户认证时产生的日志
authpriv	ssh、ftp等登陆信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关的活动
mark	rsyslog服务内部的信息，时间标识
news	网络新闻传输协议nntp产生的消息
syslog	系统日志
uucp	Unix-to-Unix copy 两个unix之间的相关通信
console	针对系统控制台的信息
cron	系统执行定时任务产生的日志
kern	系统内核日志
local0-local7	自定义程序使用
mail	邮件日志
user	用户进程

日志消息的级别

Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统动能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

举例
```
mail.info /var/log/maillog :比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中
mail.minfo /var/log/maillog :明确指定日志级别为info，保存至/var/log/maillog
mail.!info /var/log/maillog :除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog
*.info /var/log/maillog :所有facility的info级别，保存至/var/log/maillog
mail.* /var/log/maillog : mail的所有日志级别信息，都保存至/var/log/maillog
mail.notice;news.info /var/log/maillog : mail的notice以上记得日志级别和news的info以上的级别保存至/var/log/maillog
mail,news.crit -/var/log/maillog : mail和news的crit以上的日志级别保存/var/log/maillog中;"-"代表异步模式
```
日志记录的一般格式
```
more /var/log/messages
Jun 21 19:22:02  localhost lsystemd Stopping User Slice of root.
  时间戳             主机名    子系统名    消息字段：会提示ERR、WARNING等报警信息
```
用户日志分析
- 保存了用户登录、退出系统等相关信息
  - /var/log/lastlog：最近的用户登录事件
  - /var/log/wtmp：用户登录、注销及系统开、关机事件
  - /var/run/utmp：当前登录的每个用户的详细信息
  - /var/log/secure：与用户验证相关的安全性事件
- 分析工具
  - users、who、w、last、lastb
  - last 命令用于查询成功登录到系统的用户记录
  - lastb 命令用于查询登录失败的用户记录
程序日志分析
- 由相应的应用程序独立进行管理
  - Web服务：/var/log/httpd/
  - access_log #记录客户访问事件
  - error_log #记录错误事件
  - 代理服务：/var/log/squid/
    access.log
    cache.log
  - 分析工具
  - 文本查看、grep过滤检索、Webmin管理套件中查看
  - awk、sed等文本过滤、格式化编辑工具
  - Webalizer、Awstats等专用日志分析工具
日志管理策略
- 及时做好备份和归档
- 延长日志保存期限
- 控制日志访问权限：
  - 日志中可能会包含各类敏感信息，如账户、口令等
- 集中管理日志
  - 将服务器的日志文件发到统一的日志文件服务器
  - 便于日志信息的统一收集、整理和分析
  - 杜绝日志信息的意外丢失、恶意篡改或删除
配置日志服务器收集日志
- 配置日志服务器收集日志
  rsyslog是一个C/S架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听端口是514，只需要在MODULES打开即可。
- 发送服务器:客户端 192.168.80.20
  
  收集服务器:服务端 192.168.80.30
- 关闭服务端和客户端防火墙、selinux
  
  setenforce 0
  
  systemctl stop firewalld
  
  systemctl disable firewalld
- 修改客户端配置文件，并启动服务
  
  vim /etclrsyslog.conf
MODULES
- 将下面四行前的注释取消掉
  
  $ModLoad imudp
  
  $UDPServerRun 514
  
  $ModLoad imtcp
  
  $InputTCPServerRun 514
RULES
- 添加下列内容
  
  $template myFormat，"%timestamp% %hostname%
  
  %syslogseverity-text% %syslogtag% %msg%\n"
  
  $ActionFileDefaultTemplate myFormat
  
  *.info;mail.none; authpriv.none;cron.none
  
  @@ 192.168.80.30:514
  
  #%timestamp% :时间载
  
  #%fromhost-ip% :接收的信息来自于哪个节点的IP
  
  %hostname% :主机名
  
  #%syslogseverity-text% :日志等级
  
  #%syslogtag% :服务进程
  
  #%msg% :日志内容
  
  #接收方IP前面一个e表示TCP传输，两个@表示UDP传输
  
  systemctl restart rsyslog
修改服务端配置文件，并启动服务
- vim /etc/rsyslog.conf
  ##将下面四行前的注释取消掉
  
  $ModLoad imudp
  
  $UDPServerRun 514
  
  $ModLoad imtcp
  
  $InputTCPServerRun 514
  
  ###添加以下内容
  
  $AllowedSender tcp,192.168.80.0/24
  
  #允许192.168.80.0 网段内的主机以tcp协议来传输
```
 $template Remote, " /data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
```
##定义模板，接受日志文件路径，区分了不同主机的日志

:fromhost-ip, !isequal，“127.0.0.1” ?Remote

#过滤掉 server 本机的日志

systemctl restart rsyslog

//在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致

mkdir -p /data/log

验证

#客户端的终端命令行输入或者重启一个服务

logger “hello world”

#在服务端查看日志文件

tree / data/log/

journalctl 日志管理工具

日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息。Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志)。297 白志的配置文件是/etc/systemd/journald.conf

##查看所有日志（默认情况下，只保存本次启动的日志）

journalctl

journalctl -r #一r表示倒序，从尾部看(推荐)

#查看内核日志(不显示应用日志)

journalctl -k

#查看系统本次启动的日志

journalctl -b[-0]

#查看上一次启动的日志（需更改设置,如上次系统崩溃，需要查看日志时，就要看上一次的启动日志)

journalctl -b -1

#显示尾部指定行数的日志

查看的是/var/log/messages的日志，但是格式上有所调整，如主机名格式不一样而

journalctl -n 20[-f]

#查看某个服务的日志

journalctl -u nginx.service [-f]

#查看指定进程的日志
journalctl _PID=1

#查看指定用户的日志

journalctl_UID=0 --since today

journalctl -xe

#-x 是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址

#-e pager-end 从末尾开始看

xinheng233

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
linux文件系统与日志分析

深入理解linux文件系统与日志分析inode与block硬盘分区后的结构访问文件额简单流程inode的特点通过inode号删除文件inode的特殊作用硬链接与软链接链接文件inode节点耗尽故障处理恢复误删除的文件EXT类型文件恢复xfs类型文件备份和恢复分析日志文件日志文件日志文件的分类日志保存位置主要日志文件介绍内核及系统日志日志记录的一般格式用户日志分析程序日志分析日志管理策略配置日志服务器收集日志MODULESRULES修改服务端配置文件，并启动服务验证journalctl 日志管理工具inod
复制链接

扫一扫