Docker 优化与拓展：数据卷、安全与容器编排工具

目录

六. Docker 数据卷管理及优化

1. 为什么要用数据卷

2. bind mount 数据卷

3. docker managed 数据卷

 4. 数据卷容器（Data Volume Container）

5. 备份与迁移数据卷

七. Docker 的安全优化

1. 命名空间隔离的安全

2. 控制组资源控制的安全

3. 内核能力机制

4. Docker服务端防护

5. Docker的资源限制

5.1. 限制cpu使用

5.2. 限制内存使用

5.3. 限制docker的磁盘io

6. Docker的安全加固

6.1. Docker默认隔离性

6.2. 解决Docker的默认隔离性

6.3. 容器特权

6.4. 容器特权的白名单

八. 容器编排工具Docker Compose

1. Docker Compose 概述

2.主要功能

3.工作原理

5.Docker Compose 中的管理层

6. Docker Compose 的常用命令参数

7. Docker Compose 的yml文件

8. 服务（services）

9. 网络（networks）

10. 存储卷（volumes）

11. 企业示例

---

六. Docker 数据卷管理及优化

Docker 数据卷是一个可供容器使用的特殊目录，它绕过了容器的文件系统，直接将数据存储在宿主机 上。 这样可以实现以下几个重要的目的： 数据持久化：即使容器被删除或重新创建，数据卷中的数据仍然存在，不会丢失。 数据共享：多个容器可以同时挂载同一个数据卷，实现数据的共享和交互。 独立于容器生命周期：数据卷的生命周期独立于容器，不受容器的启动、停止和删除的影响。

1. 为什么要用数据卷

docker分层文件系统

• 性能差

• 生命周期与容器相同

docker数据卷

• mount到主机中，绕开分层文件系统

• 和主机磁盘性能相同，容器删除后依然保留

• 仅限本地磁盘，不能随容器迁移

docker提供了两种卷

• bind mount

• docker managed volume

2. bind mount 数据卷

是将主机上的目录或文件mount到容器里。 使用直观高效，易于理解。 使用 -v 选项指定路径，格式 :-v选项指定的路径，如果不存在，挂载时会自动创建。

[root@node9 ~]# mkdir /lee
[root@node9 ~]# touch /lee/leefile{1..5}
[root@node9 ~]# ls /lee
leefile1  leefile2  leefile3  leefile4  leefile5
[root@node9 ~]# docker run -it --rm --name test \
> -v /lee:/data1:rw \
> -v /passwd:/data2/passwd busybox
/ # ls
bin    data2  etc    lib    proc   sys    usr
data1  dev    home   lib64  root   tmp    var
/ # ls data1
leefile1  leefile2  leefile3  leefile4  leefile5
/ # touch data
data1/  data2/
/ # touch data1/leefile6
/ # ls /data1/
leefile1  leefile2  leefile3  leefile4  leefile5  leefile6

3. docker managed 数据卷

• bind mount必须指定host文件系统路径，限制了移植性

• docker managed volume 不需要指定mount源，docker自动为容器创建数据卷目录

• 默认创建的数据卷目录都在 /var/lib/docker/volumes 中

• 如果挂载时指向容器内已有的目录，原有数据会被复制到volume中

[root@node9 volumes]# docker run -d --name mysql -e MYSQL_ROOT_PASSWORD='123' mysql:5.7
[root@node9 ~]# docker inspect mysql
"Mounts": [
            {
                "Type": "volume",
                "Name": "f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe",
                "Source": "/var/lib/docker/volumes/f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe/_data",
[root@node9 ~]# ll /var/lib/docker/volumes/f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe/_data
total 188484
-rw-r----- 1 systemd-coredump input       56 Aug 30 23:49 auto.cnf
-rw------- 1 systemd-coredump input     1680 Aug 30 23:49 ca-key.pem
-rw-r--r-- 1 systemd-coredump input     1112 Aug 30 23:49 ca.pem
-rw-r--r-- 1 systemd-coredump input     1112 Aug 30 23:49 client-cert.pem
-rw------- 1 systemd-coredump input     1676 Aug 30 23:49 client-key.pem
-rw-r----- 1 systemd-coredump input     1318 Aug 30 23:50 ib_buffer_pool
-rw-r----- 1 systemd-coredump input 79691776 Aug 30 23:50 ibdata1
-rw-r----- 1 systemd-coredump input 50331648 Aug 30 23:50 ib_logfile0
-rw-r----- 1 systemd-coredump input 50331648 Aug 30 23:49 ib_logfile1
-rw-r----- 1 systemd-coredump input 12582912 Aug 30 23:50 ibtmp1
drwxr-x--- 2 systemd-coredump input     4096 Aug 30 23:50 mysql
lrwxrwxrwx 1 systemd-coredump input       27 Aug 30 23:50 mysql.sock -> /var/run/mysqld/mysqld.sock
drwxr-x--- 2 systemd-coredump input     8192 Aug 30 23:50 performance_schema
-rw------- 1 systemd-coredump input     1680 Aug 30 23:49 private_key.pem
-rw-r--r-- 1 systemd-coredump input      452 Aug 30 23:49 public_key.pem
-rw-r--r-- 1 systemd-coredump input     1112 Aug 30 23:49 server-cert.pem
-rw------- 1 systemd-coredump input     1680 Aug 30 23:49 server-key.pem
drwxr-x--- 2 systemd-coredump input     8192 Aug 30 23:50 sys
[root@node9 ~]# docker volume prune
WARNING! This will remove anonymous local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
d3479e5845a8d1727ab8d720f0559a7e2236d781548881991424912d09092ab0
f6b5d1ee9b388015614b4e9dc11d1536f25b24fd58a275c1de8af838e9ecf539
019e1e41fa374c2e8edaa23ff1514f1ce9b18a3996328a494c3d880144c68cdb
0f68c969b16834f2c39dd902da665f1613490effb0f90e2973c959a7e79ca6c3
21462c947587b966ccab7728cf511045ba50fe745c065577894400509444c8d8
c4130c67aea4726435b4b4e7238163dd1f61eb10841b5746aa68083e084e0a59
256e17e58358641e4b95929034f07cc96c2d7213c102a1045a3b721a0d857198
42274ca5837354b644b3032b7beca24c40405d2df4f40b764323308b1060f4b8
5b7ef29b670dde13fc187ca9f161daf3816ebd872c8dd36a309526450a74c46c
b256294b5a7be64fcfbb424f18e942617c4e5225b910bd2cffc0726d0e05c0d0
b6298e6e04b996e95ab337392ee9675f225e6a2407b64abad604e233c2d60738
c362eebbe748fa7cb5490eec5658460fb20106781c1325a743fdb5aa14e039a2

Total reclaimed space: 497.8MB
[root@node9 ~]# ls -l /var/lib/docker/volumes
total 32
brw------- 1 root root 253, 0 Aug 30 21:57 backingFsBlockDev
drwx-----x 3 root root     19 Aug 30 23:49 f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe
-rw------- 1 root root  65536 Aug 30 23:54 metadata.db

#临时卷
[root@node9 volumes]# touch
ad74662b8d6bb6fdcc6e82925ae9942b94bac5f9da4bd52b0a14ac451ae9ef75/_data/leefile

#清理未使用的 Docker 数据卷
[root@node9 ~]# docker volume prune

Note
1. 在执行 docker volume prune 命令之前，请确保你确实不再需要这些数据卷中的数据，因为
该操作是不可逆的，一旦删除数据将无法恢复。
2. 如果有重要的数据存储在数据卷中，建议先进行备份，或者确保数据已经被妥善保存到其他地方。

#永久卷
#建立数据卷
[root@node9 ~]# docker volume create msyqldate 
msyqldate 

#查看卷
[root@node9 ~]# docker volume ls
DRIVER    VOLUME NAME
local     f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe
local     msyqldate

#使用建立的数据卷
[root@node9 ~]# docker run -d --rm --name mysql -e MYSQL_ROOT_PASSWORD='123' -v msyqldate:/var/lib/mysql mysql:5.7
cd5f6a15712a5b005481f7697da16389b77984e4dbe3e3de022469290e4ef935
[root@node9 ~]# docker inspect mysql
 "Mounts": [
            {
                "Type": "volume",
                "Name": "msyqldate",
                "Source": "/var/lib/docker/volumes/msyqldate/_data",
                "Destination": "/var/lib/mysql",
                "Driver": "local",
                "Mode": "z",
                "RW": true,
                "Propagation": ""
            }
        ],
[root@node9 ~]# cd /var/lib/docker/volumes/msyqldate/_data
[root@node9 _data]# ls
auto.cnf         ibdata1      performance_schema
ca-key.pem       ib_logfile0  private_key.pem
ca.pem           ib_logfile1  public_key.pem
client-cert.pem  ibtmp1       server-cert.pem
client-key.pem   mysql        server-key.pem
ib_buffer_pool   mysql.sock   sys
[root@node9 _data]# docker stop mysql
mysql
[root@node9 _data]# docker ps -a
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
[root@node9 _data]# ll /var/lib/docker/volumes/msyqldate/_data
total 176196
-rw-r----- 1 systemd-coredump input       56 Aug 31 00:06 auto.cnf
-rw------- 1 systemd-coredump input     1680 Aug 31 00:06 ca-key.pem
-rw-r--r-- 1 systemd-coredump input     1112 Aug 31 00:06 ca.pem

#管理数据卷
[root@node9 ~]# docker volume ls
DRIVER    VOLUME NAME
local     f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe
local     msyqldate
[root@node9 ~]# docker volume rm f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe 
f1b497c3d2f4a933c02fa90851c80a38304bceb584f501f4e2621fc4b94679fe
[root@node9 ~]# docker volume ls
DRIVER    VOLUME NAME
local     msyqldate

 4. 数据卷容器（Data Volume Container）

数据卷容器（Data Volume Container）是 Docker 中一种特殊的容器，主要用于方便地在多个容器之间共享数据卷。

#建立数据卷容器
[root@node9 ~]# docker volume create test
[root@node9 ~]# docker run -it --name test1 \
-v test1:/etc busybox
/ # cd etc/
/etc # ls
/etc # exit

#重新打开一个会话,使用数据卷容器
[root@node9 ~]# cd /var/lib/docker/volumes/test1/_data/
[root@node9 _data]# ls
[root@node9 _data]# touch zhuzhuxia

5. 备份与迁移数据卷

#备份数据卷
#建立容器并指定使用卷到要备份的容器
[root@node9 ~]# docker run -it --name test --rm -v test:/data busybox 
[root@node9 ~]# docker run -it --volumes-from test --rm --name test1 \
-v `pwd`:/backup busybox \    #再开一个会话  #把当前目录挂在到容器中用于和容器交互保存要备份的容器
tar zcf /backup/data1.tar.gz /data1 #备份数据到本地

#数据恢复
docker run -it --name test -v leevol1:/data1 -v `pwd`:/backup busybox /bin/sh -
c "tar zxf /backup/data1.tar.gz;/bin/sh"
/ # ls
backup data1 etc lib proc sys usr
bin dev home lib64 root tmp var
/ # cd data1/ #查看数据迁移情况
/data1 # ls
index.html leefile1

七. Docker 的安全优化

Docker容器的安全性，很大程度上依赖于Linux系统自身 评估Docker的安全性时，主要考虑以下几个方面：

• Linux内核的命名空间机制提供的容器隔离安全

• Linux控制组机制对容器资源的控制能力安全。

• Linux内核的能力机制所带来的操作权限安全

• Docker程序（特别是服务端）本身的抗攻击性。

• 其他安全增强机制对容器安全性的影响

#在rhel9中默认使用cgroup-v2 但是cgroup-v2中不利于观察docker的资源限制情况，所以推荐使用cgroup-v1
mount -t cgroup2  #没有相关信息就没开
[root@node9 ~]#grubby --update-kernel=/boot/vmlinuz-$(uname -r) \
--args="systemd.unified_cgroup_hierarchy=0
systemd.legacy_systemd_cgroup_controller"   #重启生效

1. 命名空间隔离的安全

当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。 与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。 容器只是运行在宿主机上的一种特殊的进程，那么多个容器之间使用的就还是同一个宿主机的操作系统内核。 在 Linux 内核中，有很多资源和对象是不能被 Namespace 化的，比如：磁盘等等。

[root@node9 ~]# docker run -d --name web1 nginx
3c6b649a200fc56afafe9f47494903fe56e71cabcd534d6c9e6f8b5854f29cac
[root@node9 ~]# docker inspect web1 | grep Pid
            "Pid": 1733,
            "PidMode": "",
            "PidsLimit": null,

[root@node9 ~]# cd /proc/1733/ns/ #进程的namespace
[root@node9 ns]# ls
cgroup ipc mnt net pid pid_for_children time time_for_children user uts
[root@node9 ns]# ls -d /sys/fs/cgroup/memory/docker/3c6b649a200fs省略部分
854f29cac/ #资源隔离信息
/sys/fs/cgroup/system.slice/docker-
ecb8abbbfc85bf3d62fc82afb3950ab6b6a2e80092738274a233bbb8db0c5ce2.scope
/sys/fs/cgroup/system.slice/docker.service
/sys/fs/cgroup/system.slice/docker.socket

2. 控制组资源控制的安全

• 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的控制组策略集合。

• Linux Cgroups提供了很多有用的特性，确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。

• 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器，它在防止拒绝服务攻击（DDoS）方面必不可少

[root@node9 ~]#  docker run -it --name test busybox #内存资源默认没有被隔离
/ # free -m
              total        used        free      shared  buff/cache   available
Mem:           3697         371        2969          10         357        3099
Swap:          2072           0        2072

/ # exit
[root@node9 ~]#  free -m
               total        used        free      shared  buff/cache   available
Mem:            3696         349        2989           9         357        3120
Swap:           2071           0        2071

3. 内核能力机制

• 能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制。

• 大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可。

• 默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其他权限。

4. Docker服务端防护

• 使用Docker容器的核心是Docker服务端，确保只有可信的用户才能访问到Docker服务。

• 将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题。

• 允许Docker 服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。

[root@docker ~]# ls -ld /var/lib/docker/ #默认docker是用root用户控制资源的

5. Docker的资源限制

Linux Cgroups 的全称是 Linux Control Group。

• 是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。

• 对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。 Linux Cgroups 给用户暴露出来的操作接口是文件系统

• 它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。

• 执行此命令查看：mount -t cgroup

• 在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。

• 在每个子系统下面，为每个容器创建一个控制组（即创建一个新目录）。

• 控制组下面的资源文件里填上什么值，就靠用户执行 docker run 时的参数指定。

5.1. 限制cpu使用

#限制cpu的使用量
#提前下载镜像，直接拖入。
[root@node9 ~]# dcoker run -i ubuntu-latest.tar.gz
[root@node9 ~]#  docker run -it --rm --name test \
--cpu-period 100000 \ #设置 CPU 周期的长度，单位为微秒（通常为100000，即 100 毫秒）
--cpu-quota 20000 ubuntu #设置容器在一个周期内可以使用的 CPU 时间，单位也是微秒。
root@5797d76b20f5:/# dd if=/dev/zero of=/dev/null &
[1] 8
root@5797d76b20f5:/# top
top - 11:53:22 up 1 day, 1:58, 0 user, load average: 0.00, 0.00, 0.00
Tasks: 3 total, 2 running, 1 sleeping, 0 stopped, 0 zombie
%Cpu(s): 4.4 us, 6.0 sy, 0.0 ni, 89.5 id, 0.0 wa, 0.2 hi, 0.0 si, 0.0 st
MiB Mem : 3627.1 total, 558.1 free, 899.4 used, 2471.0 buff/cache
MiB Swap: 2063.0 total, 2062.0 free, 1.0 used. 2727.7 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
8 root 20 0 2736 1536 1536 R 20.0 0.0 0:00.92 dd
#使用cpu的百分比
1 root 20 0 4588 3968 3456 S 0.0 0.1 0:00.03 bash
9 root 20 0 8856 5248 3200 R 0.0 0.1 0:00.00 top
#在cgroup中查看docker的资源限制
[root@node9 ~]#  cat /sys/fs/cgroup/system.slice/docker-
573150b6c2c90a53f9d75df77455a526ff14e93fb7304674c80307c51882e605.scope/cpu.max
20000 100000

#限制cpu的优先级
#关闭cpu的核心，当cpu都不空闲下才会出现争抢的情况，为了实验效果我们可以关闭一个cpu核心
[root@node9 ~]#  echo 0 > /sys/devices/system/cpu/cpu1/online
[root@node9 ~]#  cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 58
model name : Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz
stepping : 9
microcode : 0x21
cpu MHz : 3901.000
cache size : 8192 KB
physical id : 0
siblings : 1
core id : 0
cpu cores : 1 ##cpu核心数为1
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 13
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov
pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc
arch_perfmon nopl xtopology tsc_reliable nonstop_tsc cpuid tsc_known_freq pni
pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes
xsave avx f16c rdrand hypervisor lahf_lm pti ssbd ibrs ibpb stibp fsgsbase
tsc_adjust smep arat md_clear flush_l1d arch_capabilities
bugs : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds
swapgs itlb_multihit srbds mmio_unknown
bogomips : 7802.00
clflush size : 64
cache_alignment : 64
address sizes : 45 bits physical, 48 bits virtual
power management:

#开启容器并限制资源
[root@node9 ~]#  docker run -it --rm --cpu-shares 100 ubuntu #设定cpu优先
级，最大为1024，值越大优先级越高
root@dc066aa1a1f0:/# dd if=/dev/zero of=/dev/null &
[1] 8
root@dc066aa1a1f0:/# top
top - 12:16:56 up 1 day, 2:22, 0 user, load average: 1.20, 0.37, 0.20
Tasks: 3 total, 2 running, 1 sleeping, 0 stopped, 0 zombie
%Cpu(s): 37.3 us, 61.4 sy, 0.0 ni, 0.0 id, 0.0 wa, 1.0 hi, 0.3 si, 0.0 st
MiB Mem : 3627.1 total, 502.5 free, 954.5 used, 2471.7 buff/cache
MiB Swap: 2063.0 total, 2062.3 free, 0.7 used. 2672.6 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
8 root 20 0 2736 1536 1536 R 3.6 0.0 0:16.74 dd
#cpu有限制被限制
1 root 20 0 4588 3968 3456 S 0.0 0.1 0:00.03 bash
9 root 20 0 8856 5248 3200 R 0.0 0.1 0:00.00 top
#开启另外一个容器不限制cpu的优先级
root@17f8c9d66fde:/# dd if=/dev/zero of=/dev/null &
[1] 8
root@17f8c9d66fde:/# top
top - 12:17:55 up 1 day, 2:23, 0 user, load average: 1.84, 0.70, 0.32
Tasks: 3 total, 2 running, 1 sleeping, 0 stopped, 0 zombie
%Cpu(s): 36.2 us, 62.1 sy, 0.0 ni, 0.0 id, 0.0 wa, 1.3 hi, 0.3 si, 0.0 st
MiB Mem : 3627.1 total, 502.3 free, 954.6 used, 2471.7 buff/cache
MiB Swap: 2063.0 total, 2062.3 free, 0.7 used. 2672.5 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
8 root 20 0 2736 1408 1408 R 94.0 0.0 1:09.34 dd
#cpu为被限制
1 root 20 0 4588 3968 3456 S 0.0 0.1 0:00.02 bash
9 root 20 0 8848 5248 3200 R 0.0 0.1 0:00.01 top

5.2. 限制内存使用

#开启容器并限制容器使用内存大小
[root@node9 system.slice]# docker run -d --name test --memory 200M --memory-swap 200M nginx
#查看容器内存使用限制
[root@node9r ~]# cd /sys/fs/cgroup/memory/docker/d09100472de41824bf0省略部分
id96b977369dad843740a1e8e599f430/
[root@node9 d091004723d4de41824f6b38a7be9b77369dad843740a1e8e599f430]# cat
memory.limit_in_bytes
209715200
[root@node9 d091004723d4de41824f6b38a7be9977369dad843740a1e8e599f430]# cat
memory.memsw.limit_in_bytes
209715200
#测试容器内存限制，在容器中我们测试内存限制效果不是很明显，可以利用工具模拟容器在内存中写入数据

#需要一个工具提前下载；libcgroup-tools;libcgroup-0.41
dnf install *.rpm -y
#在系统中/dev/shm这个目录被挂在到内存中
[root@node9 ~]# docker run -d --name test --rm --memory 200M --memory-swap 200M nginx
f5017485d69b50cf2e294bf6c65fcd5e679002e25bd9b0eaf9149eee2e379eec
[root@node9 ~]# docker ps
[root@node9 ~]# cd /sys/fs/cgroup/memory/docker/d091004723d4de4182...
cat memory.memsw.limit_in_bytes
echo 209715200 > memory.memsw.limit_in_bytes
#也可以使用cgexec
[root@node9 cgroup]# cgexec -g
memory:docker/f5017485d69b50cf2e294bf6c65fcd5e679002e25bd9b0eaf9149eee2e379eec dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=150
记录了150+0 的读入
记录了150+0 的写出
157286400字节（157 MB，150 MiB）已复制，0.0543126 s，2.9 GB/s
[root@node9 cgroup]# cgexec -g
memory:docker/f5017485d69b50cf2e294bf6c65fcd5e679002e25bd9b0eaf9149eee2e379eec dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=180
记录了180+0 的读入
记录了180+0 的写出
188743680字节（189 MB，180 MiB）已复制，0.0650658 s，2.9 GB/s
[root@node9 cgroup]# cgexec -g
memory:docker/f5017485d69b50cf2e294bf6c65fcd5e679002e25bd9b0eaf9149eee2e379eec dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=120
记录了120+0 的读入
记录了120+0 的写出
125829120字节（126 MB，120 MiB）已复制，0.044017 s，2.9 GB/s
[root@node9 cgroup]# cgexec -g
memory:docker/f5017485d69b50cf2e294bf6c65fcd5e679002e25bd9b0eaf9149eee2e379eec dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=200
已杀死

#也可以自建控制器
[root@node9 ~]# mkdir -p /sys/fs/cgroup/memory/x1/
[root@node9 ~]# ls /sys/fs/cgroup/memory/x1/
cgroup.clone_children memory.kmem.tcp.max_usage_in_bytes
memory.oom_control
cgroup.event_control memory.kmem.tcp.usage_in_bytes
memory.pressure_level
cgroup.procs memory.kmem.usage_in_bytes
memory.soft_limit_in_bytes
memory.failcnt memory.limit_in_bytes memory.stat
memory.force_empty memory.max_usage_in_bytes
memory.swappiness
memory.kmem.failcnt memory.memsw.failcnt
memory.usage_in_bytes
memory.kmem.limit_in_bytes memory.memsw.limit_in_bytes
memory.use_hierarchy
memory.kmem.max_usage_in_bytes memory.memsw.max_usage_in_bytes
notify_on_release
memory.kmem.slabinfo memory.memsw.usage_in_bytes tasks
memory.kmem.tcp.failcnt memory.move_charge_at_immigrate
memory.kmem.tcp.limit_in_bytes memory.numa_stat
[root@node9 ~]# echo 209715200 > /sys/fs/cgroup/memory/x1/memory.limit_in_bytes

#内存可用大小限制
[root@node9 ~]# cat /sys/fs/cgroup/memory/x1/tasks #此控制器被那个进程调用
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=100
记录了100+0 的读入
记录了100+0 的写出
104857600字节（105 MB，100 MiB）已复制，0.0388935 s，2.7 GB/s
[root@node9 ~]# free -m
total used free shared buff/cache available
Mem: 3627 1038 1813 109 1131 2589
Swap: 2062 0 2062
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=300
记录了300+0 的读入
记录了300+0 的写出
314572800字节（315 MB，300 MiB）已复制，0.241256 s，1.3 GB/s
[root@node9 ~]# free -m
total used free shared buff/cache available
Mem: 3627 1125 1725 181 1203 2501
Swap: 2062 129 1933 #内存溢出部分被写入swap交换分区
[root@node9 ~]# rm -fr /dev/shm/bigfile
[root@node9 ~]# echo 209715200 >
/sys/fs/cgroup/memory/x1/memory.memsw.limit_in_bytes #内存+swap控制
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=200
已杀死
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=199
已杀死
[root@node9 ~]# rm -fr /dev/shm/bigfile
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=180
记录了180+0 的读入
记录了180+0 的写出
188743680字节（189 MB，180 MiB）已复制，0.0660052 s，2.9 GB/s
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=190
记录了190+0 的读入
记录了190+0 的写出
199229440字节（199 MB，190 MiB）已复制，0.0682285 s，2.9 GB/s
[root@node9 ~]# cgexec -g memory:x1 dd if=/dev/zero of=/dev/shm/bigfile bs=1M count=200
已杀死

5.3. 限制docker的磁盘io

[root@node9 ~]# docker run -it --rm \
--device-write-bps \ #指定容器使用磁盘io的速率
/dev/nvme0n1:30M \ #/dev/nvme0n1是指定系统的磁盘，30M即每秒30M数据
ubuntu
root@a4e9567a666d:/# dd if=/dev/zero of=bigfile #开启容器后会发现速度和设定不匹配，是因为系统的缓存机制
^C592896+0 records in
592895+0 records out
303562240 bytes (304 MB, 289 MiB) copied, 2.91061 s, 104 MB/s
root@a4e9567a666d:/# ^C
root@a4e9567a666d:/# dd if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 0.0515779 s, 2.0 GB/s
root@a4e9567a666d:/# dd if=/dev/zero of=bigfile bs=1M count=100 oflag=direct  #设定dd命令直接写入磁盘
100+0 records in
100+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 3.33545 s, 31.4 MB/s

6. Docker的安全加固

6.1. Docker默认隔离性

在系统中运行容器，我们会发现资源并没有完全隔离开

[root@node9 ~]# free -m #系统内存使用情况
total used free shared buff/cache available
Mem: 3627 1128 1714 207 1238 2498
Swap: 2062 0 2062
[root@node9 ~]# docker run --rm --memory 200M -it ubuntu
root@e06bdc13b764:/# free -m #容器中内存使用情况
total used free shared buff/cache available
Mem: 3627 1211 1630 207 1239 2415
Swap: 2062
#虽然我们限制了容器的内容使用情况，但是查看到的信息依然是系统中内存的使用信息，并没有隔离开

6.2. 解决Docker的默认隔离性

LXCFS 是一个为 LXC（Linux Containers）容器提供增强文件系统功能的工具。 主要功能

1. 资源可见性： LXCFS 可以使容器内的进程看到准确的 CPU、内存和磁盘 I/O 等资源使用信息。在没有 LXCFS时，容器内看到的资源信息可能不准确，这会影响到在容器内运行的应用程序对资源的评估和管理。

2. 性能监控： 方便对容器内的资源使用情况进行监控和性能分析。通过提供准确的资源信息，管理员和开发人员可以更好地了解容器化应用的性能瓶颈，并进行相应的优化。

#安装lxcfs
#在rhel9中lxcfs是被包含在epel源中，我们可以直接下载安装包进行安装
[root@node9 ~]# ls lxcfs
lxcfs-5.0.4-1.el9.x86_64.rpm lxc-libs-4.0.12-1.el9.x86_64.rpm lxc-templates-
4.0.12-1.el9.x86_64.rpm
[root@docker ~]# dnf install lxcfs/*.rpm

#运行lxcfs并解决容器隔离性
[root@node9 ~]# lxcfs /var/lib/lxcfs &
[root@node9 ~]# docker run -it -m 256m \
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu
root@69ec0c67ff04:/# free -m

6.3. 容器特权

在容器中默认情况下即使我是容器的超级用户也无法修改某些系统设定，比如网络

[root@node9 ~]# docker run --rm -it busybox
/ # whoami
root
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
22: eth0@if23: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ip a a 192.168.0.101/24 dev eth0
ip: RTNETLINK answers: Operation not permitted
/ # 3

#这是因为容器使用的很多资源都是和系统真实主机公用的，如果允许容器修改这些重要资源，系统的稳定性会变的非常差;但是由于某些需要求，容器需要控制一些默认控制不了的资源，如何解决此问题，这时我们就要设置容器特权
[root@node9 ~]# docker run --rm -it --privileged busybox
/ # id root
uid=0(root) gid=0(root) groups=0(root),10(wheel)
/ # ip a a 192.168.0.100/24 dev eth0
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
24: eth0@if25: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet 192.168.0.101/24 scope global eth0
       valid_lft forever preferred_lft forever
/ # fdisk -l
Disk /dev/nvme0n1: 40 GB, 42949672960 bytes, 83886080 sectors
164482 cylinders, 255 heads, 2 sectors/track
Units: sectors of 1 * 512 = 512 bytes

Device       Boot StartCHS    EndCHS        StartLBA     EndLBA    Sectors  Size Id Type
/dev/nvme0n1p1 *  4,4,1       1023,254,2        2048    2099199    2097152 1024M 83 Linux
/dev/nvme0n1p2    1023,254,2  1023,254,2     2099200   83886079   81786880 38.9G 8e Linux LVM
#如果添加了--privileged 参数开启容器，容器获得权限近乎于宿主机的root用户

6.4. 容器特权的白名单

--privileged=true 的权限非常大，接近于宿主机的权限，为了防止用户的滥用，需要增加限制，只提供给容器必须的权限。此时Docker 提供了权限白名单的机制，使用--cap-add添加必要的权限 capabilities手册地址：capabilities(7) - Linux manual page

#限制容器对网络有root权限
[root@node9 ~]# docker run --rm -it --name baimd --cap-add NET_ADMIN busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
26: eth0@if27: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ip a a 192.168.0.101/24 dev eth0    #网络可以设定
/ # fdisk -l   #无法管理磁盘

八. 容器编排工具Docker Compose

1. Docker Compose 概述

Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具。 其是官方的一个开源项目，托管到github上.

网址：GitHub - docker/compose: Define and run multi-container applications with Docker

2.主要功能

1. 定义服务： 使用 YAML 格式的配置文件来定义一组相关的容器服务。每个服务可以指定镜像、端口映射、环境变量、存储卷等参数。 例如，可以在配置文件中定义一个 Web 服务和一个数据库服务，以及它们之间的连接关系。

2. 一键启动和停止： 通过一个简单的命令，可以启动或停止整个应用程序所包含的所有容器。这大大简化了多容器应用的部署和管理过程。 例如，使用 docker-compose up 命令可以启动配置文件中定义的所有服务，使用 docker-compose down 命令可以停止并删除这些服务。

3. 服务编排： 可以定义容器之间的依赖关系，确保服务按照正确的顺序启动和停止。例如，可以指定数据库服务必须在 Web 服务之前启动。 支持网络配置，使不同服务的容器可以相互通信。可以定义一个自定义的网络，将所有相关的容器连接到这个网络上。

4. 环境变量管理： 可以在配置文件中定义环境变量，并在容器启动时传递给容器。这使得在不同环境（如开发、测试和生产环境）中使用不同的配置变得更加容易。 例如，可以定义一个数据库连接字符串的环境变量，在不同环境中可以设置不同的值。

3.工作原理

1.读取配置文件： Docker Compose 读取 YAML 配置文件，解析其中定义的服务和参数。

2.创建容器： 根据配置文件中的定义，Docker Compose 调用 Docker 引擎创建相应的容器。它会下载所需的镜像（如果本地没有），并设置容器的各种参数。

3.管理容器生命周期： Docker Compose 监控容器的状态，并在需要时启动、停止、重启容器。 它还可以处理容器的故障恢复，例如自动重启失败的容器。

5.Docker Compose 中的管理层

1.服务 (service) 一个应用的容器，实际上可以包括若干运行相同镜像的容器实例

2.项目 (project) 由一组关联的应用容器组成的一个完整业务单元，在 docker-compose.yml 文件中定义

3.容器（container）容器是服务的具体实例，每个服务可以有一个或多个容器。容器是基于服务定义的镜像创建的运行实例

6. Docker Compose 的常用命令参数

#修改vim参数
[root@node9 ~]# vim ~/.vimrc
set ts=2 sw=2 ai et
#set ts=2：设置制表符（tab）的宽度为 2 个空格。这意味着当你按下制表键时，Vim 会插入相当于 2 个空格的空白。set sw=2：设置自动缩进的宽度为 2 个空格。当你在新的一行进行缩进时，会按照这个宽度进行缩进。set ai：开启自动缩进功能。当你在新的一行输入代码时，Vim 会根据上一行的缩进自动进行缩进。set et：开启 “expandtab” 选项，这会使得制表符被扩展为空格。这样可以确保在不同的环境中，你的代码的缩进看起来都是一致的，不会因为不同系统对制表符的解释不同而产生差异。

#配置服务文件
[root@node9 ~]# mkdir test
[root@node9 test]# vim docker-compose.yml
searvices:
  web:
    image: nginx:latest
    ports:
      - "80:80"
  testnode:
    image: busybox:latest
    command: ["/bin/sh", "-c", "sleep 100000"]
测试：docker ps
#服务一：wweb
使用的镜像为 nginx:latest，这表示使用最新版本的 Nginx 镜像。
映射了容器的 80 端口到主机的 80 端口，通过 "80:80" 的端口映射配置实现。这样可以通过主机的 80 端口访问到容器内运行的 Nginx 服务。
#服务二：testnode
使用的镜像为 busybox:latest，BusyBox 是一个小巧但功能强大的工具集合，常用于简单的任务和测试。
通过 command 指定了容器启动时执行的命令为 ["/bin/sh", "-c", "sleep 100000"]，这会使容器启动后进入一个睡眠状态，持续 100000 秒，可用于简单的测试或保持容器运行以便观察其他特性
  
#一.服务管理
#docker-compose up ：启动配置文件中定义的所有服务。可以使用 -d 参数在后台启动服务。可以使用-f 来指定yml文件
例如： docker-compose up -d 
[root@node9 test]# docker compose up -d
[+] Running 3/3
 ✔ Network test_default       Created                                     0.1s 
 ✔ Container test-web-1       Started                                     0.5s 
 ✔ Container test-testnode-1  Started                                     0.3s
[root@node9 ~]# docker compose -f test/docker-compose.yml up -d
[+] Running 3/3
✔ Network test_default Created 0.1s
✔ Container test-web-1 Started 0.9s
✔ Container test-db-1 Started

#docker-compose down ：停止并删除配置文件中定义的所有服务以及相关的网络和存储卷。
[root@node9 test]# docker compose down
[+] Running 2/2
 ✔ Container test-wweb-1  Removed                                         0.1s 
 ✔ Network test_default   Removed                                         0.1s
 
#如果文件名修改了，就需要指定文件名。
[root@node9 test]# docker compose -f timinglee.yml down

#docker-compose start ：启动已经存在的服务，但不会创建新的服务。
[root@node9 test]# docker compose start   #必须在对应的目录
[+] Running 2/2
✔ Container test-db-1 Started
✔ Container test-web-1 Started

#docker-compose stop ：停止正在运行的服务
[root@node9 test]# docker compose stop
[+] Stopping 2/2
 ✔ Container test-web-1       Stopped                                     0.1s 
 ✔ Container test-testnode-1  Stopped                                    10.1s

#docker-compose restart ：重启服务
[root@node9 test]# docker compose restart
[+] Restarting 2/2
 ✔ Container test-testnode-1  Started                                    10.4s 
 ✔ Container test-web-1       Started                                     0.3s

#二.服务状态查看
#docker-compose ps ：列出正在运行的服务以及它们的状态，包括容器 ID、名称、端口映射等信息.
[root@node9 test]# docker compose ps
NAME              IMAGE            COMMAND                  SERVICE    CREATED         STATUS          PORTS
test-testnode-1   busybox:latest   "/bin/sh -c 'sleep 1…"   testnode   3 minutes ago   Up 57 seconds   
test-web-1        nginx:latest     "/docker-entrypoint.…"   web        3 minutes ago   Up 56 seconds   0.0.0.0:80->80/tcp, :::80->80/tcp

#docker-compose logs ：查看服务的日志输出。可以指定服务名称来查看特定服务的日志。
[root@node9 test]# docker compose logs web
web-1  | /docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
web-1  | /docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
web-1  | /docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh

#三.构建和重新构建服务（了解）
# docker-compose build ：构建配置文件中定义的服务的镜像。可以指定服务名称来只构建特定的服务。
[root@node9 ~]# mkdir /root/docker/
[root@node9 ~]# cd docker
[root@node9 docker]# cat xiaozhuzhu
FROM busybox:latest
RUN touch /leefile1
[root@node9 docker]# cat xiaofeifei
FROM busybox:latest
RUN touch /leefile2
[root@node9 test]# vim /test/docker-compose.yml
services:
  test1:
    image: 'test1'
    build:
      context: /root/docker
      dockerfile: xiaozhuzhu
    command: ['/bin/sh', '-c', 'sleep 3000']
    #restart: always   #出现问题重启。
    container_name: zhuzhuxia1
  test2:
    image: 'test2'
    build:
      context: /root/docker
      dockerfile: xiaofeifei
    command: ['/bin/sh', '-c', 'sleep 3000']
    #restart: always
    container_name: zhuzhuxia2
[root@node9 test]# docker compose up -d #构建services中的所有
[root@node9 test]# docker compose up -d --remove-orphans #清除正在运行的compose
[root@node9 test]# docker compose build test1 #只够建test1 

#docker-compose up --build ：#启动服务并在启动前重新构建镜像。
[root@node9 test]# docker compose -f docker-compose.yml up -d #会去仓库拉去镜像
[+] Running 1/1
! test1 Warning pull access denied for test1, repository does not exist or
may require 'docker login': denied: requested acces...
[root@docker test]# docker compose -f docker-compose.yml up --build #会先构建镜像后启动容器

#四.其他操作
1. docker-compose exec ：在正在运行的服务容器中执行命令。
[root@node9 test]# docker compose exec -it test1 /bin/sh

2. docker-compose pull ：拉取配置文件中定义的服务所使用的镜像。
[root@node9 test]# docker compose -f docker-compose.yml pull
[+] Pulling 2/2
✔ test Pulled
✔ ec562eabd705 Pull complete

3. docker-compose config ：
验证并查看解析后的 Compose 文件内容
[root@node9 test]# docker compose -f docker-compose.yml config
[root@node9 test]# docker compose -f test.yml config -q

7. Docker Compose 的yml文件

Docker Compose 的 YAML 文件用于定义和配置多容器应用程序的各个服务。以下是一个基本的 Docker Compose YAML 文件结构及内容解释：

8. 服务（services）

1. 服务名称（service1_name/service2_name 等）：
每个服务在配置文件中都有一个唯一的名称，用于在命令行和其他部分引用该服务。
services:
  web:
    # 服务1的配置
  mysql:
    # 服务2的配置

2. 镜像（image）：
指定服务所使用的 Docker 镜像名称和标签。例如， image: nginx:latest 表示使用 nginx镜像的最新版本
services:
  web:
    image: nginx
  mysql:
    image: mysql:5.7

3. 端口映射（ports）：
将容器内部的端口映射到主机的端口，以便外部可以访问容器内的服务。例如， -"8080:80" 表示将主机的 8080 端口映射到容器内部的 80 端口。
services:
  web:
    image: timinglee/mario
    container_name: game #指定容器名称
    restart: always #docekr容器自动启动
    expose:
      - 1234 #指定容器暴露那些端口，些端口仅对链接的服务可见，不会映射到主机的端口
    ports:
      - "80:8080"
 测试：docker ps
      
4. 环境变量（environment）：
为容器设置环境变量，可以在容器内部的应用程序中使用。例如， VAR1: value1 设置环境变量 VAR1 的值为 value1
services:
  web:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: 123

5. 存储卷（volumes）：
将主机上的目录或文件挂载到容器中，以实现数据持久化或共享。例如， -
/host/data:/container/data 将主机上的 /host/data 目录挂载到容器内的
/container/data 路径。
services:
  test:
    image: busybox
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    container_name: busybox1
    volumes:
      - /etc/passwd:/tmp/passwd:ro  #只读挂在本地文件到指定位置

6. 网络（networks）：
将服务连接到特定的网络，以便不同服务的容器可以相互通信
services:
  web:
    image: nginx
    container_name: webserver
    network_mode: bridge #使用本机自带bridge网络
  test:
    image: busybox
    container_name: webserver
    command: ["/bin/sh","-c","sleep10000000"]
    networks:
      - mynet1
      - mynet2

networks:
  mynet1:
    driver: bridge
  mynet2:
    driver: bridge

7. 命令（command）：
覆盖容器启动时默认执行的命令。例如， command: python app.py 指定容器启动时运行python app.py 命令
[root@node9 test]# vim busybox.yml
services:
  web:
    image: busybox
    container_name: busybox
    command: ["/bin/sh","-c","sleep 10000000"]

9. 网络（networks）

定义 Docker Compose 应用程序中使用的网络。可以自定义网络名称和驱动程序等属性。默认情况下docker compose 在执行时会自动建立网路。

[root@node9 test]# vim  docker-compose.yml
services:
  test1:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    network_mode: default
    container_name: busybox1
  test2:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    container_name: busybox2
    networks:
      - mynet1
  test3:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    container_name: busybox3
    networks:
      - mynet2

networks:
  default:
    external: true  #指定外部资源网络名字
    name: bridge 
  mynet1:
    driver: bridge #使用桥接驱动，也可以使用macvlan用于跨主机连接
  mynet2:
    ipam:
      driver: default
      config:
        - subnet: 172.28.0.0/16
          gateway: 172.28.0.254
[root@node9 test]# docker compose up -d
[root@node9 test]# docker network ls
[root@node9 test]# docker exec -it test2 sh
/ # ifconfig
/ # route -n

10. 存储卷（volumes）

定义 Docker Compose 应用程序中使用的存储卷。可以自定义卷名称和存储位置等属性。

[root@node9 test]# vim  docker-compose.yml
services:
  test1:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    network_mode: default
    container_name: busybox1
  test2:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    container_name: busybox2
    networks:
      - mynet1
    volumes:
      - data:/data #挂在data卷
      - /etc/passwd:/tmp/passwd:ro #只读挂在本地文件到指定位置
  test3:
    image: busybox:latest
    command: ["/bin/sh","-c","sleep 3000"]
    restart: always
    container_name: busybox3
    networks:
      - mynet2

networks:
  default:
    external: true  #指定外部资源网络名字
    name: bridge 
  mynet1:
    driver: bridge #使用桥接驱动，也可以使用macvlan用于跨主机连接
  mynet2:
    ipam:
      driver: default
      config:
        - subnet: 172.28.0.0/16
          gateway: 172.28.0.254

volumes:
  data:
    name: timinglee #指定建立卷的名字
[root@node9 test]# docker compose up -d
[root@node9 test]# docker inspect test2  #看mounts挂载
[root@node9 test]# docker exec -it test2 sh  #进入容器，看对应的目录。后续删掉了容器之后建立的卷还在。

11. 企业示例

利用容器编排完成haproxy和nginx负载均衡架构实施

[root@node9 ~]# mkdir /var/lib/docker/volumes/conf
[root@node9 ~]# dnf install harpoxy -y --downloadonly --downloaddir=/mnt
rpm2cpio harpoxy-2.4.22-3el9_3.x86_64.rpm | cpio -id
[root@node9 ~]# ls
[root@node9 ~]# cd etc/
[root@node9 etc]# ls
[root@node9 ~]# cd harpoxy/
[root@node9 harpoxy]# ls
[root@node9 ~]# cp haproxy.cfg /var/lib/docker/volumes/conf/
[root@node9 ~]# cd /var/lib/docker/volumes/conf/
[root@node9 conf]# vim haproxy.cfg
...
maxconn        3000
listen webcluster
	bind *:80
	balance roundrobin
	server web1 webserver1:80 check inter 3 fall 3 rise 5
	server web2 webserver2:80 check inter 3 fall 3 rise 5
...
#提前下载haproxy的镜像。
[root@node9 ~]# docker pull haproxy:2.4  #看网络，注意版本，相差不大可以用。
[root@node9 ~]# docker load -i haproxy....
[root@node9 test]# vim  haproxy.yml  
services:
  web1:
    image: nginx:latest
    container_name: webserver1
    restart: always
    networks:
      - internel
    expose:
      - 80
    volumes:
      - data_web1:/usr/share/nginx/html
  web2:
    image: nginx:latest
    container_name: webserver2
    restart: always
    networks:
      - internel
    expose:
      - 80
    volumes:
      - data_web2:/usr/share/nginx/html
  haproxy:
    image: haproxy:2.3
    container_name: haproxy
    restart: always
    networks:
      - internel
      - extrnal
    volumes:
      - /var/lib/docker/volumes/conf/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg
    ports:
      - 80:80

networks:
  internel:
    driver: bridge
  extrnal:
    driver: bridge
volumes:
  data_web1:
    name: data_web1
  data_web2:
    name: data_web2
[root@node9 test]# docker compose -f haproxy.yml up -d
[root@node9 test]# docker compose ps

#建立发布文件
[root@node9 test]# echo webserver1 - joker:11111111111111111111 > /var/lib/docker/volumes/data_web1/_data/index.html
[root@node9 test]# echo webserver2 - joker:22222222222222222222 > /var/lib/docker/volumes/data_web2/_data/index.html
[root@node9 test]# netstat -antlupe | grep 80
[root@node9 test]# docker ps
#报错看日志
[root@node9 test]# docker logs haproxy | less

测试：
#[root@node9 test]# curl 172.25.254.100  #出现轮询即可。