linux 文件系统与日志分析

linux 文件系统

inode与biock概述

        文件数据包括元信息与实际数据；而文件的属性信息，如：文件的大小，时间，类型，权限等，称为文件的元数据(meta data 元信息 )。

        元数据存放在inode（index node）表中。inode 表由很多条记录组成，一条记录对应存放了一个文件的元数据信息。

        文件存放在硬盘上，硬盘的最小存储单位是“扇区”，扇区存储大小为512字节。

block（块）

• 连续的八个扇区组成一个block
• 是文件的最小存储单位

inode（索引节点）

用于存储文件元信息，每一个inode表记录对应的保存了以下信息：

• inode number 节点号
• 文件类型
• 权限
• UID
• GID
• 链接数（指向这个文件名路径名称个数）
• 该文件的大小和不同的时间戳
• 指向磁盘上文件的数据块指针
• 有关文件的其他数据

执行命令对inode号的影响

cp 和 inode

cp 命令：

• 分配一个空闲的inode号，在inode表中生成新条目
• 在目录中创建一个目录项，将名称与inode编号关联
• 拷贝数据生成新的文件

rm 命令：

• 硬链接数递减，从而释放的inode号可以被重用
• 把数据块放在空闲列表中
• 删除目录项
• 数据实际上不会马上被删除，但当另一个文件使用数据块时将被覆盖

mv和inode

• 如果mv命令的目标和源在同一设备，
• 不影响inode表（除时间戳）或磁盘上的数据位置：没有数据被移动！
• 删除旧的目录对应关系新建目录对应关系

inode的特殊作用

        由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码。
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

用inode号删除常规方法删除不掉的文件

find  /opt/test   -inum  68192964  -delete

find  /opt/test   -inum  68192964  -exet  rm  rf {} \;

如何查看inode号

ls -i           stat

Linux 系统文件中三个主要的时间属性 

最近访问atime：最后一次查看文件
最近更改mtime：最近更改文件内容的时间，注意：更改完内容之后，ctime也会改变
最近改动ctime：最近更改文件元信息的时间，比如改变权限等

xfs类型备份和恢复

        在CentOS 7 系统中默认采用 xfs 类型的文件。针对 xfs 文件系统目前也没有比较成熟的文件恢复工具，所以建议提前做好数据备份，以避免数据丢失。 可使用 xfsdump 与 xfsrestore 工具进行数据备份与恢复。若系统中未安装 xfsdump与xfsrestore工具，可通过yum install -y xfsdump命令安装。xfsdump 按照inode 顺序备份一个 xfs 文件系统。

xfsdump 的备份级别有两种：

• 0    表示完全备份
• 1-9 表示增量备份
• xfsdump 的备份级别默认为 0

xfsdump 的命令格式为：

xfsdump -f 备份存放位置 要备份路径或设备文件。

常用的备份参数包括以下几种：

• -f：指定备份文件目录
• -L：指定标签 session label
• -M：指定设备标签 media label
• -s：备份单个文件，-s 后面不能直接跟路径

使用 xfsdump 时，需要注意以下的几个限制：

• 不支持没有挂载的文件系统备份，所以只能备份已挂载的；
• 必须使用 root 的权限才能操作；
• 只能备份 XFS 文件系统；
• 备份下来的数据只能让 xfsrestore 解析；
• 不能备份两个具有相同 UUID 的文件系统（可使用blkid查看）。

[root@localhost ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   30G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   29G  0 part 
  ├─centos-root 253:0    0   27G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
sdc               8:32   0   20G  0 disk 
sr0              11:0    1  4.2G  0 rom  /run/media/root/CentOS 7 x86_64

 #创建分区
[root@localhost ~]# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。

Device does not contain a recognized partition table
使用磁盘标识符 0x3bbe3f56 创建新的 DOS 磁盘标签。

命令(输入 m 获取帮助)：n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): 
Using default response p
分区号 (1-4，默认 1)：
起始 扇区 (2048-41943039，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-41943039，默认为 41943039)：+10G
分区 1 已设置为 Linux 类型，大小设为 10 GiB

命令(输入 m 获取帮助)：w
The partition table has been altered!

Calling ioctl() to re-read partition table.
正在同步磁盘。
[root@localhost ~]# mkdir /data
[root@localhost ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=512    agcount=4, agsize=655360 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=2621440, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
[root@localhost ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   30G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   29G  0 part 
  ├─centos-root 253:0    0   27G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
└─sdb1            8:17   0   10G  0 part 
sdc               8:32   0   20G  0 disk 
sr0              11:0    1  4.2G  0 rom  /run/media/root/CentOS 7 x86_64
[root@localhost ~]# mount /dev/sdb1  /data
[root@localhost ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   30G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   29G  0 part 
  ├─centos-root 253:0    0   27G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
└─sdb1            8:17   0   10G  0 part /data
sdc               8:32   0   20G  0 disk 
sr0              11:0    1  4.2G  0 rom  /run/media/root/CentOS 7 x86_64
[root@localhost ~]# cd /data
[root@localhost data]# touch 123.txt  456.txt
[root@localhost data]# ls
123.txt  456.txt
[root@localhost data]# cd /opt
[root@localhost opt]# xfsdump -f  /opt/backup /dev/sdb1 [-L   backup -M  sdb1]
xfsdump: using file dump (drive_simple) strategy
xfsdump: version 3.1.4 (dump format 3.0) - type ^C for status and control

 ============================= dump label dialog ==============================

please enter label for this dump session (timeout in 300 sec)
 -> 
session label entered: ""

 --------------------------------- end dialog ---------------------------------

xfsdump: WARNING: no session label specified
xfsdump: level 0 dump of localhost.localdomain:/data
xfsdump: dump date: Wed Nov  8 18:59:03 2023
xfsdump: session id: ac166297-3693-4534-842b-b02e88dbb009
xfsdump: session label: ""
xfsdump: ino map phase 1: constructing initial dump list
xfsdump: ino map phase 2: skipping (no pruning necessary)
xfsdump: ino map phase 3: skipping (only one dump stream)
xfsdump: ino map construction complete
xfsdump: estimated dump size: 21440 bytes
xfsdump: /var/lib/xfsdump/inventory created
xfsdump: creating dump session media file 0 (media 0, file 0)
xfsdump: dumping ino map
xfsdump: dumping directories
xfsdump: dumping non-directory files
xfsdump: ending media file
xfsdump: media file size 22328 bytes
xfsdump: dump size (non-dir files) : 0 bytes
xfsdump: dump complete: 6 seconds elapsed
xfsdump: Dump Summary:
xfsdump:   stream 0 /opt/backup OK (success)
xfsdump: Dump Status: SUCCESS
[root@localhost opt]# cd -
/data
[root@localhost data]# ls
123.txt  456.txt
[root@localhost data]# rm  -rf *
[root@localhost data]# ls
[root@localhost data]# xfsrestore -f  /opt/backup  /data
xfsrestore: using file dump (drive_simple) strategy
xfsrestore: version 3.1.4 (dump format 3.0) - type ^C for status and control
xfsrestore: searching media for dump
xfsrestore: examining media file 0
xfsrestore: dump description: 
xfsrestore: hostname: localhost.localdomain
xfsrestore: mount point: /data
xfsrestore: volume: /dev/sdb1
xfsrestore: session time: Wed Nov  8 18:59:03 2023
xfsrestore: level: 0
xfsrestore: session label: ""
xfsrestore: media label: "sdb1]"
xfsrestore: file system id: d1ea98f1-b512-44c2-abc4-a4f526a4f8d1
xfsrestore: session id: ac166297-3693-4534-842b-b02e88dbb009
xfsrestore: media id: bb83852a-b789-4b8d-a37a-2307e2cee72b
xfsrestore: using online session inventory
xfsrestore: searching media for directory dump
xfsrestore: reading directories
xfsrestore: 1 directories and 2 entries processed
xfsrestore: directory post-processing
xfsrestore: restoring non-directory files
xfsrestore: restore complete: 0 seconds elapsed
xfsrestore: Restore Summary:
xfsrestore:   stream 0 /opt/backup OK (success)
xfsrestore: Restore Status: SUCCESS
[root@localhost data]# ls
123.txt  456.txt
[root@localhost data]# 

##########前期准备
[root@localhost opt]#mkfs.xfs -f /dev/sdb1
#-f强制格式化
[root@localhost ~]# fdisk /dev/sdb
#分区略
[root@localhost data]#partprobe /dev/sdb
#刷新分区
[root@localhost ~]# mkfs.xfs /dev/sdb1
#格式化
[root@localhost ~]# mkdir /date 
[root@localhost ~]# mount /dev/sdb1 /date/
#挂载
[root@localhost ~]# cd /date 
[root@localhost date]# cp /etc/passwd ./ 
#将passwd文件拷入
[root@localhost date]# mkdir test 
[root@localhost date]# touch test/a

############备份
[root@localhost data]#rpm -qa |grep xfsdump
#查看是否已安装
xfsdump-3.1.4-1.el7.x86_64
[root@localhost data]#yum install xfsdump -y
#未安装可以使用yum安装

[root@localhost ~]# xfsdump -f /opt/dump_sdb2        /dev/sdb2           [-L dump_sdb1 -M sdb1]
#                    命令   指定备份目录路径和文件名      分区                 打上标记 现在不打后面也要输入
#使用 xfsdump 命令备份整个分区  并打上标记

[root@localhost ~]#xfsdump -f /opt/dump_sdb2 /dev/sdb2
xfsdump: using file dump (drive_simple) strategy
xfsdump: version 3.1.4 (dump format 3.0) - type ^C for status and control

 ============================= dump label dialog ==============================

please enter label for this dump session (timeout in 300 sec)
 -> dump_sdb2   (文件标签)
 
 please enter label for media in drive 0 (timeout in 300 sec)
 -> sdb2(设备标签)
media label entered: "sdb2"

模拟数据丢失后恢复

[root@localhost data]#cd /data/
[root@localhost data]#rm -rf /*
[root@localhost data]#ls

#恢复
[root@localhost opt]#da'te
# 使用 bak文件 将数据恢复到 /data 下
[root@localhost opt]#ls /data/
passwd  test

[root@localhost opt]#xfsdump -l 1 -f /backup/dump_sdb1_level_1 /sdb1 -L dump_sdb1_level_1 -M sdb1
#设定级别

日志分析

日志保存位置

默认位于：/var/log 目录下

日志的功能

• 用于记录系统，程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

日志文件的分类

• /var/log/secure：系统安全日志，文本格式，应周期性分析
• /var/log/btmp：当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看
• /var/log/wtmp：当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看
• /var/log/lastlog:每一个用户最近一次的登录信息，二进制格式，lastlog命令可以查看
• /var/log/dmesg：CentOS7 之前版本系统引导过程中的日志信息，文本格式，开机后的硬件变化将不再记录专用命令dmesg查看，可持续记录硬件变化的情况
• /var/log/boot.log 系统服务启动的相关信息，文本格式
• /var/log/messages ：系统中大部分的信息
• /var/log/anaconda : anaconda的日志操作系统安装时安装的软件信息

日志文件位置	日志文件说明
/var/log/messages内核和公共日志	它是核心系统日志文件，其中包含了系统启动时的引导信息，以及系统运行时的其他状态消息。I/O 错误、网络错误和其他系统错误都会记录到此文件中。其他信息，比如某个人的身份切换为 root，已及用户自定义安装软件的日志，也会在这里列出。
/var/log/cron 计划任务日志	记录与系统定时任务相关的曰志
/var/log/dmesg 系统引导日志	记录了系统在开机时内核自检的信息，也可以使用dmesg命令直接查看内核自检信息
/var/log/maillog 邮件日志	记录邮件信息的曰志
用户日志
/var/log/lastlog	记录系统中所有用户最后一次的登录时间的曰志。这个文件也是二进制文件.不能直接用Vi 查看。而要使用lastlog命令查看
/var/log/secure	记录验证和授权方面的倍息，只要涉及账户和密码的程序都会记录，比如系统的登录、ssh的登录、su切换用户，sudo授权，甚至添加用户和修改用户密码都会记录在这个日志文件中
/var/log/wtmp	永久记录所有用户的登陆、注销信息，同时记录系统的启动、重启、关机事件。同样，这个文件也是二进制文件.不能直接用Vi查看，而要使用last命令查看
/var/tun/ulmp	记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化，只记录当前登录用户的信息。同样，这个文件不能直接用Vi查看，而要使用w、who、users等命令查看

日志记录的一般格式

保存了用户登录，退出系统等相关信息

/var/log/lastlog：最近的用户登录事件
/var/log/wtmp：用户登录、注销及系统开、关机事件                                                                        /var/run/utmp：当前登录的每个用户的详细信息                                                                          /var/log/secure: 与用户验证相关的安全性事件

内核和公共日志

日志的配置文件 位置在 /etc/rsyslog.conf

[root@localhost ~]#vim /etc/rsyslog.conf
#查看rsyslog.conf 配置文件
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
#表示所有info等级以上的所有等级的信息都写到对应的日志文件里
mail.none
#表示某事件的信息不写到日志文件里（这里比如是邮件）

信息的优先级别重要程度

在 Linux 内核中，根据日志消息的重要程度不同，将其分为不同 的优先级别（数字等级越小，优先级越高，消息越重要）。

0   EMERG（紧急）：会导致主机系统不可用的情况。

1   ALERT（警告）：必须马上采取措施解决的问题。

2   CRIT（严重）：比较严重的情况。

3   ERR（错误）：运行出现错误。

4   WARNING（提醒）：可能影响系统功能，需要提醒用户的重要事件。

5   NOTICE（注意）：不会影响正常功能，但是需要注意的事件。

6   INFO（信息）：一般信息。

7   DEBUG（调试）：程序或系统调试信息等

分析工具

users：查看当前用户名称。

who：查看当前登录的用户，终端，登陆时间，IP地址。

w：查看当前登录的用户，终端，登陆时间，IP地址，占用cpu的情况，进程等。

last：查询成功登录到系统的用户记录。

lastb：查询登录失败的用户记录。

rsyslog

• 程序包：rsyslog
• 主程序：/usr/sbin/rsyslogd
• CentOS 6：/etc/rc.d/init.d/rsyslog {start|stop|restart|status}
• CentOS 7,8：/usr/lib/systemd/system/rsyslog.service
• 配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf
• 库文件： /lib64/rsyslog/*.so

rsyslog配置文件

/etc/rsyslog.conf 配置文件格式：由三部分组成

• MODULES：相关模块配置
• GLOBAL DIRECTIVES：全局配置
• RULES：日志记录相关的规则配置

将ssh服务的日志单独设置  

使用rsyslog 软件单独实现日志管理需注意

1.需要该软件支持 rsyslog
2.修改配置文件
3两个服务都要重启重启

将 ssh服务的日志 文件 独立成出来
原来ssh               /var/log/secure

[root@localhost ~]#tail -f /var/log/secure
#查看ssh服务的日志位置

[root@localhost ~]#vim /etc/ssh/sshd_config
#修改ssh配置文件，32下一行添加自己的自定义
32 #SyslogFacility AUTHPRIV
33 SyslogFacility LOCAL6

local 0-7

[root@localhost ~]#vim /etc/rsyslog.conf
#76 行添加自己的文件位置
 local6.*                                                /var/log/ssh.log

[root@localhost log]#systemctl restart rsyslog.service sshd
#重启服务

网络日志（远程日志功能）

#开启日志的远程传输功能在192.168.91.100    10 台左右的服务器
[root@localhost ~]#rpm -ql rsyslog 
/usr/lib64/rsyslog/imtcp.so
/usr/lib64/rsyslog/imudp.so
[root@localhost ~]#ss -ntap |grep 514

[root@localhost ~]#vim /etc/rsyslog.conf 
#打开19 20 行
19 #$ModLoad imtcp
20 #$InputTCPServerRun 514
[root@localhost ~]#ss -ntap |grep 514
#查看514端口是否打开

#在192.168.91.101 上设置发送到哪台主机去
[root@centos7-2 ~]#vim /etc/rsyslog.conf 
#修改配置文件
54 *.info;mail.none;authpriv.none;cron.none                /var/log/messages
#复制54行                                                   改成ip地址
55 *.info;mail.none;authpriv.none;cron.none                @@192.168.91.100
                                                          #两个@ 代表使用  tcp  一个代表udp
如果修改 的是udp  @192.168.91.100
如果要想指定端口  @192.168.91.100：端口号

[root@centos7-2 ~]#logger "this is test log from 192.168.91.101 2"
#测试，写日志进去

日志管理策略

• 及时做好备份和归档
• 延长日志保存期限
• 控制日志访问权限