OverlayFS

hchen-gogogo

已于 2023-12-04 15:51:42 修改

阅读量228

点赞数

分类专栏： kubernetes Storage 文章标签：容器云原生运维 kubernetes linux

于 2023-12-04 15:19:28 首次发布

本文链接：https://blog.csdn.net/chenhongloves/article/details/134785141

版权

kubernetes 同时被 2 个专栏收录

26 篇文章 0 订阅

订阅专栏

Storage

10 篇文章 0 订阅

订阅专栏

OverlayFS

OverlayFS（Overlay File System）是一种联合文件系统，它允许将多个目录挂载到同一个虚拟文件系统下。这种机制在容器技术中非常重要，因为它支持以层的形式来构建和管理容器的文件系统。

关键特性

层叠式结构：OverlayFS 允许通过叠加多个目录（称为“层”）来创建一个单一的、统一的视图。这些层是只读的，除了最顶层外，可以进行写操作。
高效的存储和速度：通过共享底层的只读层，OverlayFS 可以高效地管理存储空间，同时还提供了良好的读取性能。
写时复制（Copy-on-Write, CoW）：在进行写操作时，OverlayFS 会复制被修改的文件到最上层的可写层中，以此保持底层的不变性。

工作原理

Lower Layer：这是只读层，通常用于存储容器图像的基本文件和目录。在 containerd 中，这包括基础镜像和其它层。
Upper Layer：这是可写层，所有对文件系统的更改（如文件修改、新增、删除）都在这一层上进行。在 containerd 中，这对应于容器的可写层。
Merge Layer：
这是一个虚拟的文件系统层，它将上层和下层整合到一起，提供一个统一的文件系统视图。当从容器内部访问文件时，实际上是通过这个合并层访问的。
Work Layer：这是 OverlayFS 所需的一个技术性目录，用于存放临时文件。这个层是 OverlayFS 实现 CoW 机制的关键部分。

容器中的应用

每个容器都使用 OverlayFS。当启动一个新容器时，会为其创建一个新的 Upper Layer。所有对容器的更改都会保存在这个层中，而不会影响到原始镜像的 Lower Layer。这样，多个容器可以共享同一个基础镜像，同时保持它们各自的改动，从而实现了高效的存储和快速的部署。

总结

OverlayFS 的这种设计非常适合容器化的环境，它提供了一种轻量级、高效和灵活的方式来管理容器的文件系统。

练习

准备一些模拟的文件

root@go:/tmp# ROOTDIR=$(mktemp -d)
root@go:/tmp# cd $ROOTDIR
root@go:/tmp/tmp.wVpBziRnQE# mkdir upper lower merged work
root@go:/tmp/tmp.wVpBziRnQE# echo "from lower" > lower/in_lower.txt 
root@go:/tmp/tmp.wVpBziRnQE# echo "from upper" > upper/in_upper.txt
root@go:/tmp/tmp.wVpBziRnQE# echo "Ifrom lower" > lower/in_both.txt 
root@go:/tmp/tmp.wVpBziRnQE# echo "from upper" > upper/in_both.txt 
root@go:/tmp/tmp.wVpBziRnQE#

挂载 Overlay

root@go:/tmp/tmp.wVpBziRnQE# mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged
root@go:/tmp/tmp.wVpBziRnQE# mount | grep overlay
overlay on /tmp/tmp.wVpBziRnQE/merged type overlay (rw,relatime,lowerdir=lower,upperdir=upper,workdir=work)

查看基本情况

root@go:/tmp/tmp.wVpBziRnQE# tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_both.txt
│   ├── in_lower.txt
│   └── in_upper.txt
├── upper
│   ├── in_both.txt
│   └── in_upper.txt
└── work
    └── work

5 directories, 7 files

### 所有的文件已经被合并到 merged 目录了，in_lower.txt文件来自lower目录，in_upper.txt文件来自upper目录，in_both.txt文件来自upper目录(覆盖了lower目录中的同名文件)
root@go:/tmp/tmp.wVpBziRnQE# cat merged/in_both.txt 
from upper
root@go:/tmp/tmp.wVpBziRnQE# cat merged/in_lower.txt 
from lower
root@go:/tmp/tmp.wVpBziRnQE# cat merged/in_upper.txt 
from upper
root@go:/tmp/tmp.wVpBziRnQE# 
root@go:/tmp/tmp.wVpBziRnQE# ls -Rl
.:
总用量 16
drwxr-xr-x 2 root root 4096 12月  4 14:36 lower
drwxr-xr-x 1 root root 4096 12月  4 14:36 merged
drwxr-xr-x 2 root root 4096 12月  4 14:36 upper
drwxr-xr-x 3 root root 4096 12月  4 14:37 work

./lower:
总用量 8
-rw-r--r-- 1 root root 12 12月  4 14:36 in_both.txt
-rw-r--r-- 1 root root 11 12月  4 14:36 in_lower.txt

./merged:
总用量 12
-rw-r--r-- 1 root root 11 12月  4 14:36 in_both.txt
-rw-r--r-- 1 root root 11 12月  4 14:36 in_lower.txt
-rw-r--r-- 1 root root 11 12月  4 14:36 in_upper.txt

./upper:
总用量 8
-rw-r--r-- 1 root root 11 12月  4 14:36 in_both.txt
-rw-r--r-- 1 root root 11 12月  4 14:36 in_upper.txt

./work:
总用量 4
d--------- 2 root root 4096 12月  4 14:37 work

./work/work:
总用量 0

创建新文件
在 merged 目录中创建一个文件，会发现新建的文件出现在读写层的 upper 目录。

root@go:/tmp/tmp.wVpBziRnQE# echo 'new file' > merged/new_file
root@go:/tmp/tmp.wVpBziRnQE# tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_both.txt
│   ├── in_lower.txt
│   ├── in_upper.txt
│   └── new_file
├── upper
│   ├── in_both.txt
│   ├── in_upper.txt
│   └── new_file
└── work
    └── work

5 directories, 9 files

删除文件
删除 merged 目录中的 in_both.txt 文件，lower 目录里的 in_both.txt 文件不变，upper 目录中的文件in_both.txt 变成了一个特殊文件，标记其被删除

root@go:/tmp/tmp.wVpBziRnQE# rm -f merged/in_both.txt
root@go:/tmp/tmp.wVpBziRnQE# tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_lower.txt
│   ├── in_upper.txt
│   └── new_file
├── upper
│   ├── in_both.txt
│   ├── in_upper.txt
│   └── new_file
└── work
    └── work
        └── #14

5 directories, 9 files

root@go:/tmp/tmp.wVpBziRnQE# ls -l upper/*
c--------- 2 root root 0, 0 12月  4 14:44 upper/in_both.txt
-rw-r--r-- 1 root root   11 12月  4 14:36 upper/in_upper.txt
-rw-r--r-- 1 root root    9 12月  4 14:42 upper/new_file
root@go:/tmp/tmp.wVpBziRnQE# ls -l work/work/*
c--------- 2 root root 0, 0 12月  4 14:44 work/work/#14

root@go:/tmp/tmp.wVpBziRnQE# cat upper/in_both.txt 
cat: upper/in_both.txt: 没有那个设备或地址
root@go:/tmp/tmp.wVpBziRnQE# cat work/work/#14 
cat: work/work/#14: 没有那个设备或地址

修改文件
修改 merged 目录中的 in_lower.txt，会在upper目录中新建一个 in_lower.txt 文件包含新的内容。

root@go:/tmp/tmp.wVpBziRnQE# echo "modify lower" >> merged/in_lower.txt 
root@go:/tmp/tmp.wVpBziRnQE# tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_lower.txt
│   ├── in_upper.txt
│   └── new_file
├── upper
│   ├── in_both.txt
│   ├── in_lower.txt
│   ├── in_upper.txt
│   └── new_file
└── work
    └── work
        └── #14

5 directories, 10 files
root@go:/tmp/tmp.wVpBziRnQE# cat lower/in_lower.txt 
from lower
root@go:/tmp/tmp.wVpBziRnQE# cat merged/in_lower.txt 
from lower
modify lower
root@go:/tmp/tmp.wVpBziRnQE# cat upper/in_lower.txt 
from lower
modify lower

containerd
可以看到容器镜像的各层挂载为 overlayfs 的 lowerdir，可读写层挂载为 overlayfs 的 upperdir，最终联合挂载合并呈现的目录为 /run/containerd/io.containerd.runtime.v2.task/default/8ff29698fb69b0723146cc7d122d159bf74c26f5c53fc694d5c76e9488a6fc54/rootfs 为容器的 rootfs。

root@go:/tmp# nerdctl run -d nginx:alpine
8ff29698fb69b0723146cc7d122d159bf74c26f5c53fc694d5c76e9488a6fc54
root@go:/tmp# nerdctl  ps
CONTAINER ID    IMAGE                             COMMAND                   CREATED           STATUS    PORTS    NAMES
8ff29698fb69    docker.io/library/nginx:alpine    "/docker-entrypoint.…"    30 seconds ago    Up                 nginx-8ff29
root@go:/tmp# mount | grep 8ff29
overlay on /run/containerd/io.containerd.runtime.v2.task/default/8ff29698fb69b0723146cc7d122d159bf74c26f5c53fc694d5c76e9488a6fc54/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/20/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/19/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/18/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/17/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/16/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/15/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/14/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/9/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/22/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/22/work)