目录
一、原理
我们知道文件都有文件名与数据,这在 Linux 上被分成两个部分:用户数据 (user data) 与元数据 (metadata)。用户数据,即文件数据块 (data block),数据块是记录文件真实内容的地方;而元数据则是文件的附加属性,如文件大小、创建时间、所有者等信息。在 Linux 中,元数据中的 inode 号(inode 是文件元数据的一部分但其并不包含文件名,inode 号即索引节点号)才是文件的唯一标识而非文件名。文件名仅是为了方便人们的记忆和使用,系统或程序通过 inode 号寻找正确的文件数据块。如图.展示了程序通过文件名获取文件内容的过程。
[root@P1QMSPGPM01 deploy]# ll
total 45032
-rw-r--r-- 1 root root 46111568 Mar 18 09:19 file-loader-1.0.10.war
[root@P1QMSPGPM01 deploy]# stat file-loader-1.0.10.war
File: `file-loader-1.0.10.war'
Size: 46111568 Blocks: 90064 IO Block: 4096 regular file
Device: fd05h/64773d Inode: 143806 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2020-03-18 09:22:26.538612471 +0800
Modify: 2020-03-18 09:19:08.301794256 +0800
Change: 2020-03-18 10:16:40.041757920 +0800
[root@P1QMSPGPM01 deploy]# mv file-loader-1.0.10.war file-loader-1.0.11.war
[root@P1QMSPGPM01 deploy]# ll -i
total 45032
143806 -rw-r--r-- 1 root root 46111568 Mar 18 09:19 file-loader-1.0.11.war
可以看到就算修改了文件名 其实它的inode并没有改变,均为143806
二、软连接和硬链接
为解决文件的共享使用,Linux 系统引入了两种链接:硬链接 (hard link) 与软链接(又称符号链接,即 soft link 或 symbolic link)。链接为 Linux 系统解决了文件的共享使用,还带来了隐藏文件路径、增加权限安全及节省存储等好处。若一个 inode 号对应多个文件名,则称这些文件为硬链接。换言之,硬链接就是同一个文件使用了多个别名。硬链接可由命令 link 或 ln 创建。
link oldfile newfile
ln oldfile newfile
如下就是对file-loader-1.0.11.war 创建的硬链接。
[root@P1QMSPGPM01 deploy]# ln file-loader-1.0.11.war file-loader.war
[root@P1QMSPGPM01 deploy]# ll
total 90064
-rw-r--r-- 2 root root 46111568 Mar 18 09:19 file-loader-1.0.11.war
-rw-r--r-- 2 root root 46111568 Mar 18 09:19 file-loader.war
[root@P1QMSPGPM01 deploy]# ll -i
total 90064
143806 -rw-r--r-- 2 root root 46111568 Mar 18 09:19 file-loader-1.0.11.war
143806 -rw-r--r-- 2 root root 46111568 Mar 18 09:19 file-loader.war
[root@p1edaap01 image_web]# ll
total 4
lrwxrwxrwx. 1 tomcat tomcat 13 Mar 16 2018 acf -> /mnt/nas_acf/
lrwxrwxrwx. 1 tomcat tomcat 12 Mar 16 2018 oc -> /mnt/nas_oc/
-rw-rw-r--. 1 tomcat tomcat 0 Mar 5 2018 readme.txt
drwxrwxr-x. 2 tomcat tomcat 4096 Mar 16 2018 WEB-INF
// ln -s targetDir soft.link
[root@p1edaap01 image_web]# ln -s /mnt/nas_ocxp/ oxcp
You have new mail in /var/spool/mail/root
[root@p1edaap01 image_web]# ll
total 4
lrwxrwxrwx. 1 tomcat tomcat 13 Mar 16 2018 acf -> /mnt/nas_acf/
lrwxrwxrwx. 1 tomcat tomcat 12 Mar 16 2018 oc -> /mnt/nas_oc/
lrwxrwxrwx 1 root root 14 Apr 2 14:59 oxcp -> /mnt/nas_ocxp/
-rw-rw-r--. 1 tomcat tomcat 0 Mar 5 2018 readme.txt
drwxrwxr-x. 2 tomcat tomcat 4096 Mar 16 2018 WEB-INF
由于硬链接是有着相同 inode 号仅文件名不同的文件,因此硬链接存在以下几点特性:
- 文件有相同的 inode 及 data block;
- 只能对已存在的文件进行创建;
- 不能交叉文件系统进行硬链接的创建;
- 不能对目录进行创建,只可对文件创建;
- 删除一个硬链接文件并不影响其他有相同 inode 号的文件。
通过硬链接为文件创建的别名,就会对应不同的目录项,不过这些目录项本质上还是链接同一个文件,所以,它们的索引节点相同。
说了这么多特性,那什么时候考虑用硬链接呢?和cp 有啥区别呢?
当你希望有一个文件能实时同步修改的内容的时候 ,你可以尝试硬链接,为什么可以做到同步更新呢?当你对文件写操作的时候,在内核层面操作的是inode ,以为硬链接的inode 相同,所以会同步更新。cp就比较单纯了,肯定是两个inode,占用两倍的空间。大家可以根据需求自行选择要用硬链接还是cp。此外cp -p 可以copy文件的属性。
// 不能为不存在的文件创建硬链接
[root@P1QMSPGPM01 file-loader]# ln test1.sh tmp.sh
ln: accessing `test1.sh': No such file or directory
文件有相同的 inode 号以及 data block
[root@P1QMSPGPM01 file-loader]# ln test.sh tmp.sh|ll -il
142171 -rwxr-xr-x 2 root root 2317 Mar 12 11:03 test.sh
142171 -rwxr-xr-x 2 root root 2317 Mar 12 11:03 tmp.sh
// 不能交叉文件系统
[root@P1QMSPGPM01 file-loader]# ln /dev/sda1 /opt/servers/file-loader/a.txt
ln: creating hard link `/opt/servers/file-loader/a.txt' => `/dev/sda1': Invalid cross-device link
//不能为目录创建
[root@P1QMSPGPM01 file-loader]# ln deploy/ backup/
ln: `deploy/': hard link not allowed for directory
[root@P1QMSPGPM01 file-loader]#
node 号仅在各文件系统下是唯一的,当 Linux 挂载多个文件系统后将出现 inode 号重复的现象(/usr/share/doc/HTML/fo/common和/opt/servers/file-loader/deploy/file-loader.war并没有什么关联,但是却有着相同的inode)
[root@P1QMSPGPM01 deploy]# find / -inum 143806
/usr/share/doc/HTML/fo/common
/opt/servers/file-loader/deploy/file-loader.war
/opt/servers/file-loader/deploy/file-loader-1.0.11.war
因此硬链接创建时不可跨文件系统。设备文件目录 /dev 使用的文件系统是 devtmpfs,而 /root(与根目录 / 一致)使用的是磁盘文件系统 ext4。
df 查看当前系统中挂载的文件系统类型、各文件系统 inode 使用情况及文件系统挂载点。
[root@P1QMSPGPM01 mnt]# df -i --print-type
Filesystem Type Inodes IUsed IFree IUse% Mounted on
/dev/mapper/rootvg-rootlv
ext4 327680 7974 319706 3% /
tmpfs tmpfs 16502946 1 16502945 1% /dev/shm
/dev/sda2 ext4 128016 22 127994 1% /boot
/dev/sda1 vfat 0 0 0 - /boot/efi
/dev/mapper/rootvg-homelv
ext4 983040 943 982097 1% /home
/dev/mapper/rootvg-optlv
ext4 458752 17537 441215 4% /opt
/dev/mapper/rootvg-tmplv
ext4 983040 186 982854 1% /tmp
/dev/mapper/rootvg-usrlv
ext4 655360 138863 516497 22% /usr
/dev/mapper/rootvg-locallv
ext4 131072 8584 122488 7% /usr/local
/dev/mapper/rootvg-varlv
ext4 5242880 3348 5239532 1% /var
/dev/mapper/rootvg-gpmasterlv
xfs 367868128 1928 367866200 1% /gpmaster
//10.50.10.**4/nas_ocxp
cifs 0 0 0 - /dfs/lion
10.50.10.1**:/NAS_ACF
nfs 3999999904 2257333456 1742666448 57% /dfs/acf
10.50.10.14*:/NAS_OC nfs 1999999952 757669451 1242330501 38% /dfs/oc
值得一提的是,Linux 系统存在 inode 号被用完但磁盘空间还有剩余的情况。我们创建一个 5M 大小的 ext4 类型的 mo.img 文件,并将其挂载至目录 /mnt。然后我们使用一个 shell 脚本将挂载在 /mnt 下 ext4 文件系统的 indoe 耗尽。示例如下:
[root@P1QMSPGPM01 deploy]# dd if=/dev/zero of=mo.img bs=5120k count=1
1+0 records in
1+0 records out
5242880 bytes (5.2 MB) copied, 0.00784872 s, 668 MB/s
[root@P1QMSPGPM01 deploy]# ll -lih
total 93M
143806 -rw-r--r-- 2 root root 44M Mar 18 09:19 file-loader-1.0.11.war
143806 -rw-r--r-- 2 root root 44M Mar 18 09:19 file-loader.war
143768 -rw-r--r-- 1 root root 5.0M Mar 18 10:39 mo.img
[root@P1QMSPGPM01 deploy]# mkfs -t ext4 -F ./mo.img
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=1024 (log=0)
Fragment size=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
1280 inodes, 5120 blocks
256 blocks (5.00%) reserved for the super user
First data block=1
Maximum filesystem blocks=5242880
1 block group
8192 blocks per group, 8192 fragments per group
1280 inodes per group
Writing inode tables: done
Creating journal (1024 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 33 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
[root@P1QMSPGPM01 deploy]#
[root@P1QMSPGPM01 deploy]# mount -o loop ./mo.img /mnt
[root@P1QMSPGPM01 mnt]# vim inode_t.sh
[root@P1QMSPGPM01 mnt]#
[root@P1QMSPGPM01 mnt]# chmod 777 inode_t.sh
[root@P1QMSPGPM01 mnt]# ./inode_t.sh
./inode_t.sh: line 6: file_1269: No space left on device
[root@P1QMSPGPM01 mnt]# df -iT /mnt/; du -sh /mnt/
Filesystem Type Inodes IUsed IFree IUse% Mounted on
/opt/servers/file-loader/deploy/mo.img
ext4 1280 1280 0 100% /mnt
1.3M /mnt/
[root@P1QMSPGPM01 mnt]# cat -n inode_t.sh
1 #!/bin/bash
2
3 for ((i = 1; ; i++))
4 do
5 if [ $? -eq 0 ]; then
6 echo "This is file_$i" > file_$i
7 else
8 exit 0
9 fi
10 done
mkfs -t ext4 -I 512
/
dev/sda4,
将使磁盘设备 /dev/sda4 格式成 inode 大小是 512 字节的 ext4 文件系统。
mkfs -t ext4 -F ./mo.img 将/mnt/mo.img 格式化成ext4文件系统
这个问题从侧面验证了上次发生的198GB log 被删除,inode还没有被释放,但是看到df -h空间还有的。
硬链接不能对目录创建是受限于文件系统的设计,现 Linux 文件系统中的目录均隐藏了两个个特殊的目录:当前目录(.)与父目录(..)。查看这两个特殊目录的 inode 号可知其实这两目录就是两个硬链接(注意目录 /mnt/lost+found/ 的 inode 号)。若系统允许对目录创建硬链接,则会产生目录环。
[root@P1QMSPGPM01 mnt]# ls -aliF /mnt/lost+found/
total 43
11 drwx------ 2 root root 12288 Mar 18 10:39 ./
2 drwxr-xr-x 3 root root 30720 Mar 18 10:56 ../
[root@P1QMSPGPM01 mnt]# stat /mnt/lost+found/
File: `/mnt/lost+found/'
Size: 12288 Blocks: 24 IO Block: 1024 directory
Device: 700h/1792d Inode: 11 Links: 2
Access: (0700/drwx------) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2020-03-18 10:41:37.000000000 +0800
Modify: 2020-03-18 10:39:47.196203986 +0800
Change: 2020-03-18 10:39:47.196203986 +0800
-F 在列出的文件名称后加一符号;例如可执行档则加 "*", 目录则加 "/"
软链接与硬链接不同,若文件用户数据块中存放的内容是另一文件的路径名的指向,则该文件就是软连接。软链接就是一个普通文件,只是数据块内容有点特殊。软链接有着自己的 inode 号以及用户数据块(见 图.)。因此软链接的创建与使用没有类似硬链接的诸多限制:
- 软链接的权限虽然是对所属者 所属组 其他人的执行权限都是rwx。但是最终该软连接的执行权限取决于源文件的权限。
- 可对不存在的文件或目录创建软链接;
- 软链接可交叉文件系统;
- 软链接可对文件或目录创建;
- 创建软链接时,链接计数 i_nlink 不会增加;
- 删除软链接并不影响被指向的文件,但若被指向的原文件被删除,则相关软连接被称为死链接(即 dangling link,若被指向路径文件被重新创建,死链接可恢复为正常的软链接)。
[root@P1QMSPGPM01 deploy]# ll
total 45032
-rw-r--r-- 1 root root 46111568 Mar 18 09:19 file-loader-1.0.11.war
lrwxrwxrwx 1 root root 15 Mar 18 11:23 file-loaderProd.war -> file-loader.war
lrwxrwxrwx 1 root root 22 Mar 18 11:18 file-loader.war -> file-loader-1.0.11.war
[root@P1QMSPGPM01 deploy]#
当然软链接的用户数据也可以是另一个软链接的路径,其解析过程是递归的。但需注意:软链接创建时原文件的路径指向使用绝对路径较好。使用相对路径创建的软链接被移动后该软链接文件将成为一个死链接(如下所示的软链接 a 使用了相对路径,因此不宜被移动),因为链接数据块中记录的亦是相对路径指向。
在 Linux 中查看当前系统已挂着的文件系统类型,除上述使用的命令 df,还可使用命令 mount 或查看文件 /proc/mounts。
[root@P1QMSPGPM01 mnt]# mount
/dev/mapper/rootvg-rootlv on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda2 on /boot type ext4 (rw)
/dev/sda1 on /boot/efi type vfat (rw,umask=0077,shortname=winnt)
/dev/mapper/rootvg-homelv on /home type ext4 (rw)
/dev/mapper/rootvg-optlv on /opt type ext4 (rw)
/dev/mapper/rootvg-tmplv on /tmp type ext4 (rw)
/dev/mapper/rootvg-usrlv on /usr type ext4 (rw)
/dev/mapper/rootvg-locallv on /usr/local type ext4 (rw)
/dev/mapper/rootvg-varlv on /var type ext4 (rw)
/dev/mapper/rootvg-gpmasterlv on /gpmaster type xfs (rw,nodev,noatime,inode64,allocsize=16m)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
//10.50./nas_ocxp on /dfs/lion type cifs (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
10.50.1:/NAS_ACF on /dfs/acf type nfs (rw,addr=10.50.10.147)
10.50.8:/NAS_OC on /dfs/oc type nfs (rw,addr=10.50.10.148)
/opt/servers/file-loader/deploy/mo.img on /mnt type ext4 (rw,loop=/dev/loop0)
命令 ls 或 stat 可帮助我们区分软链接与其他文件并查看文件 inode 号,但较好的方式还是使用 find 命令,其不仅可查找某文件的软链接,还可以用于查找相同 inode 的所有硬链接。
/ 查找在路径 /home 下的文件 data.txt 的软链接
# find /home -lname data.txt
/home/harris/debug/test2/a
// 查看路径 /home 有相同 inode 的所有硬链接
# find /home -samefile /home/harris/debug/test3/old.file
/home/harris/debug/test3/hard.link
/home/harris/debug/test3/old.file
# find /home -inum 660650
/home/harris/debug/test3/hard.link
/home/harris/debug/test3/old.file
// 列出路径 /home/harris/debug/ 下的所有软链接文件
# find /home/harris/debug/ -type l -ls
656662 0 lrwxrwxrwx 1 harris harris 1 Sep 1 14:37 /home/harris/debug/test2/b -> a
656627 0 lrwxrwxrwx 1 harris harris 8 Sep 1 14:37 /home/harris/debug/test2/a ->
data.txt
789467 0 lrwxrwxrwx 1 root root 8 Sep 1 18:00 /home/harris/debug/test/soft.link ->
old.file
789496 0 lrwxrwxrwx 1 root root 7 Sep 1 18:01
/home/harris/debug/test/soft.link.dir -> old.dir
系统根据磁盘的大小默认设定了 inode 的值,如若必要,可在格式文件系统前对该值进行修改。如键入命令 mkfs -t ext4 -I 512
/
dev/sda4,
将使磁盘设备 /dev/sda4 格式成 inode 大小是 512 字节的 ext4 文件系统。
注意inode的单位是字节并不是个数。
[root@P1QMSPGPM01 mnt]# dumpe2fs -h /dev/mapper/rootvg-optlv | grep "Inode size"
dumpe2fs 1.41.12 (17-May-2010)
Inode size: 256
Linux VFS
为什么要需要这个虚拟文件系统?
为了支持各种不同的文件系统,Linux 内核在用户进程和文件系统的中间,又引入了一个抽象层。
VFS 定义了一组所有文件系统都支持的数据结构和标准接口。这样,用户进程和内核中的
其他子系统,只需要跟 VFS 提供的统一接口进行交互就可以了,而不需要再关心底层各种
文件系统的实现细节
Linux 有着极其丰富的文件系统,大体上可分如下几类:
- 网络文件系统,如 nfs、cifs 等;
- 磁盘文件系统,如 ext4、ext3、xfs 等;
- 特殊文件系统,如 proc、sysfs、ramfs、tmpfs 等。
实现以上这些文件系统并在 Linux 下共存的基础就是 Linux VFS(Virtual File System 又称 Virtual Filesystem Switch),即虚拟文件系统。
- Linux VFS 存在四个基本对象:
- 超级块对象 (superblock object)
- 索引节点对象 (inode object)
- 目录项对象 (dentry object)
- 文件对象 (file object)。
超级块对象代表一个已安装的文件系统;索引节点对象代表一个文件;目录项对象代表一个目录项,如设备文件 event5 在路径 /dev/input/event5 中,其存在四个目录项对象:/ 、dev/ 、input/ 及 event5。文件对象代表由进程打开的文件。这四个对象与进程及磁盘文件间的关系如图 4. 所示,其中 d_inode 即为硬链接。为文件路径的快速解析,Linux VFS 设计了目录项缓存(Directory Entry Cache,即 dcache)。
Linux 文件系统中的 inode
在 Linux 中,索引节点结构存在于系统内存及磁盘,其可区分成 VFS inode 与实际文件系统的 inode。VFS inode 作为实际文件系统中 inode 的抽象,定义了结构体 inode 与其相关的操作 inode_operations(见内核源码 include/linux/fs.h)。
每个文件存在两个计数器:i_count 与 i_nlink,即引用计数与硬链接计数。结构体 inode 中的 i_count 用于跟踪文件被访问的数量,而 i_nlink 则是上述使用 ls -l 等命令查看到的文件硬链接数。或者说 i_count 跟踪文件在内存中的情况,而 i_nlink 则是磁盘计数器。当文件被删除时,则 i_nlink 先被设置成 0。文件的这两个计数器使得 Linux 系统升级或程序更新变的容易。系统或程序可在不关闭的情况下(即文件 i_count 不为 0),将新文件以同样的文件名进行替换,新文件有自己的 inode 及 data block,旧文件会在相关进程关闭后被完整的删除。(如果某个进程没有持有一个已经被删除的文件,则该文件实际占用的空间不会立即释放,等到该进程关闭后才会释放)
文件系统 ext4 中的 inode
struct ext4_inode {
...
__le32 i_atime; // 文件内容最后一次访问时间
__le32 i_ctime; // inode 修改时间
__le32 i_mtime; // 文件内容最后一次修改时间
__le16 i_links_count; // 硬链接计数
__le32 i_blocks_lo; // Block 计数
__le32 i_block[EXT4_N_BLOCKS]; // 指向具体的 block
...
};
参数说明:
-b 删除,覆盖以前建立的链接
-d 允许超级用户制作目录的硬链接
-f 强制执行
-i 交互模式,文件存在则提示用户是否覆盖
-n 把符号链接视为一般目录
-s 软链接(符号链接)
-v 显示详细的处理过程
说明:
1.源文件被删除后,并没有影响硬链接文件;软链接文件失效。
2.重建源文件后,软链接成功,找到了链接文件系统;然而硬链接文件并没有受到源文件影响,硬链接文件的内容还是保留了删除前源文件的内容,说明硬链接已经失效。
软连接踩坑记
--update 2022年8月30日11:10:36
对于已经存在目录,如果需要建立软连接重新指向必须先要删除之前存在的目录。如果不可以删除再建立软连接那么就只能在创建的时候就指明是软连接。
spug]# ln -nfs /gpmaster/spug/repos /opt/spug/
ln: `/opt/spug/repos': cannot overwrite directory
如果是文件则不会影响:
存在同名的软连接文件,会直接覆盖源文件,将源文件变为软连接。 看下面这个例子
7000]# ll
-rw-r--r-- 1 root root 109539176 Aug 25 13:31 qms_0825.war
-rw-r--r-- 1 root root 109539176 Aug 30 11:12 qms.war
7000]#
7000]# ln -nfs qms_0825.war qms.war
7000]# ll
-rw-r--r-- 1 root root 109539176 Aug 25 13:31 qms_0825.war
lrwxrwxrwx 1 root root 12 Aug 30 11:13 qms.war -> qms_0825.war
参考 : IBM Developer