Linux---日志文件系统

一、Linux文件系统

1、inode与block

• 文件包括文件名和文件数据
• 文件数据包括元信息，文件名与实际数据
• 元信息存放在inode中，是除了文件名以外的属性
• 文件名是存放在目录文件当中的，文件名与inode号码是对应关系
• 实际数据是存放在块中的，包含了文件内容

扇区（sector）

• 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。

块（block）

• 一般连续八个扇区组成一个"块"（block），一个块是4K大小，是文件存取的最小单位，文件数据存储在“块”中。
• 操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。

索引节点（inode）

• inode的中文名称是**“索引节点”**，也叫 i节点
• 文件数据包括实际数据与元信息（类似文件属性）；
• 文件数据存储在"块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode。
• 因此一个文件必须占用一个inode，并且至少占用一个 block；
• inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件；
• 每个inode都有一个号码。操作系统用inode号码来识别不同的文件。Linux内部不使用文件名，而使用inode号来识别文件；
• 文件名只是inode号便于识别的别称。文件名和inode号是一一对应的关系，每个inode号都对应一个文件名。

文件数据

• 文件数据包括实际数据与元信息（类似文件属性）；
• 文件数据存储在“块”中，文件元信息存储在inode中。

系统访问文件过程

• 当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码；通过inode号码，获取inode信息；根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。

2、查看文件名对应的inode号的方法

 第一种方式：  ls -i 文件名    #查看文件名对应的inode号码
 
 第二种方式：  stat  文件名    #查看文件inode信息中的inode号码
 

• 文件的字节数
• 文件拥有者的User ID
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳等

3、 inode的大小

• inode也会消耗硬盘空间：每个inode的大小一般是128字节或者256字节
• 格式化文件系统时可以确定inode的总数；
• 使用 df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量。

4、Linux系统文件三个主要的时间属性

• ctime(change time)：最后一次改变文件或目录(属性)的时间
• atime(access time)：最后一次访问文件或目录的时间
• mtime(modify time)：最后一次修改文件或目录(内容)的时间

5、inode和block的关系

• 文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中，存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。 因此，一 个文件必须占用一个inode, 并且至少占用一个block；
• inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件，因此目录也是一种文件；
• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一 一对应关系，每个inode号码对应一个文件名。

6、特点

由于inode号码与文件名分离，导致Linux系统具备以下几种特有的现象：

• 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用。

删除inode号的方法：

[root@cheng0307 tmp]# find ./ -inum 68201002 -exec rm -i {} \;

[root@cheng0307 tmp]# find ./ inum 68201002 -delete 

• 移动文件或重命名文件，只是改变文件名，不影响inode号码。

• 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。

• 文件数据被修改保存后，公生成一个新的inode号码

二、文件系统的备份恢复

• Centos 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump进行备份 与xfsrestore 进行恢复。
• xfsdump的备份级别有两种: 0表示完全备份: 1-9表示增量备份。xfsdump 的备份级别默认为0。

xfsdump的命令格式为

xfsdump   -f    备份存放位置     要备份的路径或设备文件

xfsdump命令常用的选项	说明
-f	指定备份文件目录
-L	指定标签session label
-M	指定设备标签media label
-s	备份单个文件，-s 后面不能直接跟路径

xfsdump使用限制:

• 1.只能备份已挂载的文件系统
• 2.必须使用root的权限才能操作
• 3.只能备份XFS文件系统
• 4.备份后的数据只能让xfsrestore解析
• 5.不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

#使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/ sdb
mkfs.xfs [-f] /dev/ sdb1
mkdir /data 
mount /dev/ sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a


#查看是否有xfsdump工具，没有就用yum一键安装
rpm   -  qa  |  grep  xfsdump  
yum   install   -y   xfsdump


#使用xfsdump命令备份整个分区
xfsdump -f /opt/dump_ sdbl /dev/sdb1

#模拟数据丢失并使用xfsrestore命令恢复文件
cd   /data/
rm - rf  ./*
ls


使用xfsrestore解析恢复数据
xfsrestore  -f   /opt/dump_ sdb1(备份的数据)      /data/(回复到某个目录位置)

三、日志分析

• 日志保存位置默认位于：/var/log目录下

1、日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

• 内核及系统日志由系统服务rsyslog统一进行管理，日志格式基本相似；主配置文件/ etc / rsyslog.conf
• 用户日志 记录系统用户登录及退出系统的相关信息
• 程序日志 由各种应用程序独立管理的日志文件，记录格式不统一

3、内核及公共消息日志

• /var /log /messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。

• 对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

4、计划任务日志

• /var /log / cron：记录crond计划任务产生的事件信息

5、系统引导日志

• /var/ log / dmesg：记录Linux系统在引导过程中的各种事件信息

6、邮件系统日志

-/var /log /maillog：记录进入或发出系统的电子邮件活动

7、用户登录日志

• /var /log /secure：记录用户认证相关的安全事件信息
• /var /log /lastlog：记录每个用户最近的登录事件，二进制格式
• /var /log /wtmp：记录每个用户登录、注销及系统启动和停机事件，二进制格式
• /var/ run /btmp：记录失败的、错误的登录尝试及验证事件，二进制格式

8、日志配置文件和日志消息等级

vim /etc/rsyslog.conf					###查看rsyslog.conf配置文件

*.info;   mail.none;   authpriv.none;   cron.none     	/var/log/messages  

*.info			###表示  “info等级及以上”  的所有等级的信息都写到对应的日志文件里

mail.none       ###表示  “ 邮件日志 ”   不写到日志文件里
authpriv.none   ###表示  “ssh、ftp等登录信息的验证信息 ”   不写到日志文件里
cron.none       ###表示  “系统执行定时任务产生的日志 ”   不写到日志文件里 

/var/log/messages    ###表示日志信息存放在这里面

设备字段	说明
auth	用户认证时产生的日志
authpriv	ssh、ftp等登录信息的验证信息
daemon	一些守护进程产生的日志
ftp	FTP产生的日志
lpr	打印相关活动
mark	rsyslog服务内部的信息，时间标识
news	网络新闻传输协议(nntp)产生的消息
syslog	系统日志
uucp	Unix-to-Unix Copy 两个unix之间的相关通信
console	针对系统控制台的消息
cron	系统执行定时任务产生的日志
kern	系统内核日志
local0~local7	自定义程序使用
mail	邮件日志
user	用户进程

• Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）

级号	消息	级别	具体描述
0	EMERG	紧急	会导致主机系统不可用的情况，比如系统崩溃
1	ALERT	警告	必须马上采取措施解决的问题，比如数据库被破坏
2	CRIT	严重	比较严重的情况，比如硬盘错误，可能会阻碍程序的部分功能
3	ERR	错误	运行出现错误，不是非常紧急，需尽快修复
4	WARNING	提醒	可能影响系统功能，需要提醒用户的重要事件，不是错误如磁盘用了90%
5	NOTICE	注意	不会影响正常功能，但是需要注意的事件，无需处理
6	INFO	信息	一般信息，正常的系统信息
7	DEBUG	调试	程序或系统调试信息等，包含详细开发的信息，

9、日志记录的一般格式

10、分析工具

- users
 
- who
 
- W

- last命令      ####用于查询  成功登录  到系统的用户记录

- lastb命令      ####用于查询  登录失败  的用户记录

11、程序日志分析

由相应的应用程序独立进行管理

• Web服务：/var /log /httpd/

   access_log     ###——记录客户访问事件
   
   error_log      ###——记录错误事件
   

• 代理服务：/var/log/squid/

  access.log、cache.log

• 文本查看、grep过来检索、Webmin管理套件中查看

• awk、sed等文本过滤、格式化编辑工具

• Webalizer、Awstats等专用日志分析工具

12、日志管理策略

1.及时做好备份和归档

2.延长日志保存期限

3.控制日志访问权限
 
   日志中可能会包含各类敏感信息，如账户和口令等
   
4.集中管理日志

   将服务器的日志文件发到统一-的日志文件服务器

   便于日志信息的统- -收集、 整理和分析

   杜绝日志信息的意外丢失、恶意篡改或删除