Linux文件系统与日志分析

目录

 inode与block

 硬链接与软链接 

 恢复误删除的文件 

 分析日志文件

---

inode和block概述
   文件数据包括元信息与实际数据
   文件存储在硬盘上，硬盘最小存储单位是"扇区"，每个扇区存储512字节

   block（块）
     连续八个扇区组成一个 block(4K)
     是文件存取的最小单位

   inode（索引节点）
     中文译名为"索引节点"，也叫i节点
     用于存储文件元信息

   文件数据包括实际数据与元信息（类似文件属性）。文件数据存储在"块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此，一个文件必须占用一个 inode，并且至少占用一个 block。
   
   inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
  
   每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
 
   所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码；通过inode号码，获取inode信息；根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据

node的内容
   inode包含文件的元信息
     文件的字节数
     文件拥有者的User ID       #不包含文件名
     文件的Group ID
     文件的读、写、执行权限
     文件的时间戳
     ......

   用stat命令可以查看某个文件的inode信息
     示例：stat aa.txt

   Linux系统文件三个主要的时间属性
     ctime(change time)
      最后一次改变文件或目录（属性）的时间
     atime(access time)
      最后一次访问文件或目录的时间
     mtime(modify time)
      最后一次修改文件或目录（内容）的时间

   目录文件的结构
     目录也是一种文件
     目录文件的结构

 

  查看inode号码的方法
     ls -i命令：查看文件名对应的inode号码
      ls -i aa.txt
     stat命令：查看文件inode信息中的inode号码
      stat aa.txt

 硬盘分区后的结构

访问文件的简单流程

 

node的大小
   inode也会消耗硬盘空间
     每个inode的大小
     一般是128字节或256字节

   格式化文件系统时确定inode的总数

   使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

inode的特殊作用
   由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下现象
    1.当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
    2.移动或重命名文件时，只改变文件名，不影响inode号码
    3.打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
    4.文件数据被修改保存后，会生成一个新的inode号码

inode节点耗尽故障处理
   #使用fdisk创建分区/dev/sdb1，分区大小30M即可

 fdisk /dev/sdb
    mkfs.ext4 /dev/sdb1
    mkdir /test
    mount /dev/sdb1 /mnt
    df -i

#模拟inode节点耗尽故障
for  ((i=1; i<=7680; i++)); do touch  /test/file$;done     touch {1..7680}.txt
df -i
df -hT

#删除文件恢复

 rm -rf  /test/*
    df -i
    df -hT

inode节点耗尽故障处理
   #使用fdisk创建分区/dev/sdb1，分区大小30M即可
    fdisk /dev/sdb
    mkfs.ext4 /dev/sdb1
    mkdir /test
    mount /dev/sdb1 /mnt
    df -i
   #模拟inode节点耗尽故障
    for  ((i=1; i<=7680; i++)); do touch  /test/file$;done     touch {1..7680}.txt
    df -i
    df -hT
   #删除文件恢复
    rm -rf  /test/*
    df -i
    df -hT

EXT 类型文件恢复
   extundelete 是一个开源的 Linux 数据恢复工具，支持 ext3、ext4文件系统。（ext4只能在centos6版本恢复）
   #使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
    fdisk /dev/sdc
    mkfs.ext3 /dev/sdc1
    mkdir /test
    mount /dev/sdc1 /best
    df -hT    

   #安装依赖包
 
   #编译安装  extundelete
    cd /test
    wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
    tar jxvf  extundelete-0.2.4.tar.bz2
    cd extundelete-0.2.4/
    ./configure --prefix=/usr/local/extundelete && make && make install
    ln -s /usr/local/extundelete/bin/* /usr/bin/

   #模拟删除并执行恢复操作
 

   cd /test
    echo a>a
    echo a>b
    echo a>c
    echo a>d
    ls

    extundelete /dev/sdc1 --inode 2     #查看文件系统/dev/sdc1下存在哪些文件，i 节点是从 2 开始的，2 代表该文件系统最开始的目录

 

   rm -rf a b
    extundelete /dev/sdc1 --inode 2
    cd ~
    umount /test
    extundelete /dev/sdc1 --restore-all    #恢复/dev/sdc1 文件系统下的所有内容
 

   #在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
    ls RECOVERED_FILES/

xfs 类型文件备份和恢复
   CenOS 7 系统默认采用 xfs类型的文件，xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复
   xfsdump 的备份级别有两种：0 表示完全备份；1-9 表示增量备份。xfsdump 的备份级别默认为 0

   xfsdump 的命令格式为：
   xfsdump -f  备份存放位置 要备份的路径或设备文件
 xfsdump 命令常用的选项

-f：	指定备份文件目录
-L：	指定标签 session label
-M：	指定设备标签 media label
-s：	备份单个文件，-s 后面不能直接跟路径

xfsdump使用限制
    1.只能备份已挂载的文件系统
    2.必须使用root的权限才能操作
    3.只能备份XFS文件系统
    4.备份后的数据只能让xfsrestore解析
    5.不能备份两个具有相同的UUID的文件系统（可用 blkid命令查看
   #使用#使用fdisk创建分区/dev/sdb1，格式化xfs文件系统

fdisk /dev/sdb
     partprobe /dev/sdb
     mkfs.xfs [-f] /dev/sdb1
     mkdir /data
     mount /dev/sdb1 /data/
     cd /data
     cp /etc/passwd
     mkdir test
     touch test/a

日志文件
   日志功能
     用于记录系统、程序运行中发生的各种事情
     通过阅读日志，有助于诊断和解决系统故障

   日志文件的分类
     内核及系统日志
      由系统服务rsyslog统一进行管理日志格式基本相似
      主配置文件/etc/rsyslog.conf
     用户日志
      记录系统用户登录及退出系统的相关信息
     程序日志
      由各种应用程序独立管理的日志文件，记录格式不统一

   日志保存位置
     默认位于：/var/log 目录下

   常见的一些日志文件
    #内核及公共消息日志
     /var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

    #计划任务日志
     /var/log/cron：记录crond计划任务产生的事件信息

    #系统引导日志
     /var/log/dmesg：记录Linux系统在引导过程中的各种事件信息

    #邮件系统日志
     /var/log/maillog：记录进入或发出系统的电子邮件活动

    #用户登录日志
     /var/log/secure：记录用户认证相关的安全事件信息
     /var/log/lastlog：记录每个用户最近的登录事件。二进制格式
     /var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
     /var/log/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

   vim /etc/rsyslog.conf    #查看rsyslog.conf配置文件
   *.info;mail.none;authpriv.none;cron.none     /var/log/messages

   *.info            #表示info等级及以上的所有等级的信息都写到对应的日志文件里
   mail.none     #表示某事件信息不写到日志文件里（这里比如是邮件

内核及系统日志
   由系统服务 rsyslog 统一管理
     软件包：rsyslog-7.4.7-16.eI7.x86_64
     主要程序：/sbin/rsyslogd
     配置文件：/etc/rsyslog.conf

   Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）
   0     EMERG（紧急）：会导致主机系统不可用的情况
   1     ALERT （警告）：必须马上采取措施解决问题
   2     CRIT（严重）：比较严重的情况
   3     ERR（错误）：运行出现错误
   4     WARNING（提醒）：可能影响系统功能，需要提醒用户的重要事件
   5     NOTICE（注意）：不会影响正常功能，但是需要注意的事件
   6     INFO（信息）：一般信息
   7     DEBUG（调试）：程序或系统调试信息等

用户日志分析
   保存了用户登录、退出系统等相关信息
   

  /var/log/lastlog：最近的用户登录事件
     /var/log/wtmp：用户登录、注销及系统开、关机事件
     /var/run/utmp：当前登录的每个用户的详细信息
     /var/log/secure：与用户验证相关的安全性事件

   分析工具 

  /var/log/lastlog：最近的用户登录事件
     /var/log/wtmp：用户登录、注销及系统开、关机事件
     /var/run/utmp：当前登录的每个用户的详细信息
     /var/log/secure：与用户验证相关的安全性事件

程序日志分析
   由相应的应用程序独立进行管理
     Web服务：/var/log/httpd/
       access_log    //记录客户访问信息 
       error_log      //记录错误事件
     代理服务：/var/log/squid/
       access.log、cache.log
     分析工具
     文本查看、grep过滤检索、Webmin管理套件中查看
     awk、sed等文本过滤、格式化编辑工具

     Webalizer、Awstats等专用日志分析工具

日志管理策略
   及时作好备份和归档
   延长日志保存期限
   控制日志访问权限
     日志中可能会包含各类敏感信息，如账户、口令等
   集中管理日志
     将服务器的日志文件发到统一的日志文件服务器
     便于日志信息的统一收集、整理和分析
     杜绝日志信息的意外丢失、恶意篡改或删除