docker 资源限制

最新推荐文章于 2024-05-29 14:44:35 发布
最新推荐文章于 2024-05-29 14:44:35 发布
阅读量1k 收藏 28
点赞数 9
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42704442/article/details/138753655
版权

docker 限制

Docker是一个开源的应用容器引擎，允许开发者打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙盒机制，相互之间不会有任何接口。在进行资源管理和限制方面，Docker提供了多种机制来限制容器的资源使用，包括CPU、内存、磁盘I/O以及网络带宽。下面是一些基本的资源限制方法：

1. CPU资源限制

  • 限制CPU使用率：可以通过--cpus参数来限制容器可以使用的CPU资源。例如，docker run --cpus=".5" nginx命令会限制nginx容器最多只能使用50%的CPU资源。
docker run -d --cpus="0.5" --name test_cpu  ubuntu /bin/sh -c "while true; do :; done"
97ad37f98476ceeaad63fcdea723fef082cf9521afcd3c7b572f93d05aeed1b2

docker stats 97ad37f98476ceeaad63fcdea723fef082cf9521afcd3c7b572f93d05aeed1b2
CONTAINER ID   NAME       CPU %     MEM USAGE / LIMIT   MEM %     NET I/O     BLOCK I/O   PIDS
97ad37f98476   test_cpu   51.06%    356KiB / 31.34GiB   0.00%     866B / 0B   0B / 0B     1
  • 限制CPU核心：使用--cpuset-cpus参数可以指定容器可以使用的CPU核心。例如，docker run --cpuset-cpus="0-2,4" nginx命令会限制nginx容器只能使用CPU的第1、2、3和第5个核心。
docker run -d   --cpuset-cpus="0-2,4" --cpus="0.5" --name test_cpu  ubuntu /bin/sh -c "while true; do :; done"

docker inspect --format '{{.HostConfig.CpusetCpus}}' test_cpu
0-2,4

ps -eo %cpu,%mem,pid,cmd --sort=-%cpu |grep while
99.9  0.0   24905 /bin/sh -c while true; do :; done
 0.0  0.0   30116 grep while

taskset -pc 24905
pid 24905's current affinity list: 0-2,4

2. 内存资源限制

  • 限制最大内存使用量：通过--memory或-m参数可以限制容器使用的最大内存量。例如，docker run -m 256m nginx命令会限制nginx容器最多只能使用256MB的内存。
docker run --rm  -d -m 400m --name test_cpu debian_with_stress /bin/sh -c " stress --vm 1 --vm-bytes 100M --vm-hang 0"
c6d45bcaaba0fb4178a541afdbbc7ab37ce70a7b968b66da4eb4b1b03f2b883e
docker stats c6d45bcaaba0fb4178a541afdbbc7ab37ce70a7b968b66da4eb4b1b03f2b883e
CONTAINER ID   NAME       CPU %     MEM USAGE / LIMIT   MEM %     NET I/O       BLOCK I/O   PIDS
c6d45bcaaba0   test_cpu   0.00%     100.8MiB / 400MiB   25.21%    1.09kB / 0B   0B / 0B     3
  • 限制内存交换区使用量：通过--memory-swap参数可以限制容器使用的内存加上交换区的总量。例如，docker run --memory="256m" --memory-swap="1g" nginx命令会限制nginx容器使用的内存加上交换区的总量不超过1GB。
    我们机器不开通swap谢谢
docker run --rm  -d  --memory="500m" --memory-swap="1g"  --name test_cpu debian_with_stress /bin/sh -c " stress --vm 1 --vm-bytes 400M --vm-hang 0"

3. 磁盘I/O资源限制

正常

 time dd if=/dev/zero of=/tmp/testfile bs=1M count=100 oflag=direct
100+0 records in
100+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 0.149226 s, 703 MB/s

real	0m0.152s
user	0m0.001s
sys	0m0.037s
  • 限制读写速率：可以通过--device-read-bps和--device-write-bps参数来限制容器对特定设备的读写速率。例如，docker run --device-write-bps /dev/sda:1mb nginx命令会限制nginx容器对/dev/sda设备的写速率不超过1MB/s。
docker run --rm -it --device-write-bps /dev/vdb:1mb ubuntu /bin/bash
root@6f08d52efcac:/# time dd if=/dev/zero of=/tmp/testfile bs=1M count=100 oflag=direct

100+0 records in
100+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 100.008 s, 1.0 MB/s

real	1m40.011s
user	0m0.043s
sys	0m0.000s
  • 限制IOPS：通过--device-read-iops和--device-write-iops参数可以限制容器对特定设备的读写操作次数。例如，docker run --device-write-iops /dev/sda:1000 nginx命令会限制nginx容器对/dev/sda设备的写操作不超过每秒1000次。
root@79698c20e560:/# time dd if=/dev/zero of=/mnt/testfile bs=4k count=10000 oflag=direct

10000+0 records in
10000+0 records out
40960000 bytes (41 MB, 39 MiB) copied, 0.687875 s, 59.5 MB/s

real	0m0.690s
user	0m0.018s
sys	0m0.167s

 docker run --rm -it --device-read-iops /dev/vdb:500 --device-write-iops /dev/vdb:500 ubuntu /bin/bash
root@ea535a7335eb:/# time dd if=/dev/zero of=/mnt/testfile bs=4k count=10000 oflag=direct

10000+0 records in
10000+0 records out
40960000 bytes (41 MB, 39 MiB) copied, 19.9105 s, 2.1 MB/s

real	0m19.913s
user	0m0.001s
sys	0m0.470s

time dd if=/mnt/testfile of=/dev/null bs=4k iflag=direct

10000+0 records in
10000+0 records out
40960000 bytes (41 MB, 39 MiB) copied, 19.9077 s, 2.1 MB/s

real	0m19.910s
user	0m0.001s
sys	0m0.292s

磁盘限制

4. 网络带宽限制

Docker原生并不直接支持网络带宽的限制。但是，可以通过第三方工具如tc（traffic control）来实现对容器网络带宽的限制。此外，Docker的网络插件机制允许使用不同的网络驱动来提供额外的网络功能，包括网络带宽限制。

结论

Docker提供了灵活的资源限制选项，帮助用户更好地管理和分配容器资源。通过合理设置这些参数，可以确保容器应用的高效运行，同时避免单个容器占用过多资源而影响系统的稳定性。需要注意的是，合理的资源限制策略应该基于对应用性能需求的理解和测试。

如果你已经准备好尝试使用iptables直接在宿主机上操作以添加端口映射到Docker容器，下面是一个基于Debian镜像的示例。请注意，这个过程涉及到底层的网络配置，如果操作不当可能会影响到宿主机和其他容器的网络连接。请确保你已经备份了重要数据，并且最好在一个测试环境中进行以下操作。

步骤1: 创建并启动Docker容器

首先，创建并启动一个基于Debian镜像的Docker容器，我们假设你已经映射了一些初始端口，比如22和80。

docker run -d --name my-debian-container -p 22:22 -p 80:80 debian

步骤2: 查找Docker容器的网络命名空间

Docker容器的网络命名空间并不直接暴露，但我们可以通过查找容器的进程ID（PID）来间接获取。首先，找到容器的PID：

docker inspect --format '{{ .State.Pid }}' my-debian-container

然后，你可以通过查看/proc/<PID>/ns/net来确认网络命名空间，但这通常不是必需的，因为我们将直接在宿主机上操作iptables。

步骤3: 使用iptables添加端口映射规则

现在，我们将使用iptables在宿主机上为Docker容器添加新的端口映射规则。假设我们要添加8080端口的映射：

# 先找到Docker使用的网桥接口，通常是docker0
docker_network_interface=$(ip -o -4 addr show scope global | awk '{print $2}' | grep docker0)

# 添加iptables规则
 iptables -t nat -A DOCKER -p tcp --dport 8080 -j DNAT --to-destination $(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' my-debian-container):8080
 iptables -t filter -A DOCKER -d $(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' my-debian-container)/32 ! -i $docker_network_interface -o $docker_network_interface -p tcp -m tcp --dport 8080 -j ACCEPT

8083->8082

# 添加DNAT规则，将宿主机的8083端口流量转发到容器的8082端口
sudo iptables -t nat -A DOCKER -p tcp --dport 8083 -j DNAT --to-destination $(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' my-debian-container):8082

# 添加允许规则，允许流向容器8082端口的流量
docker_network_interface=$(ip -o -4 addr show scope global | awk '{print $2}' | grep docker0)
sudo iptables -t filter -A DOCKER -d $(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' my-debian-container)/32 ! -i $docker_network_interface -o $docker_network_interface -p tcp -m tcp --dport 8082 -j ACCEPT

这里，我们添加了两条iptables规则：

  1. 第一条规则在NAT表的DOCKER链上添加了一条DNAT规则，用于将目标端口8080的流量转发到容器的8080端口。
  2. 第二条规则在filter表的DOCKER链上添加了一条允许规则，用于允许流向容器8080端口的流量。
    加完以后
 iptables -t nat -L -n -v
Chain PREROUTING (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
   32  1712 DOCKER     all  --  *      *       0.0.0.0/0            0.0.0.0/0            ADDRTYPE match dst-type LOCAL

Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    1    60 DOCKER     all  --  *      *       0.0.0.0/0           !127.0.0.0/8          ADDRTYPE match dst-type LOCAL

Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
   24  1521 MASQUERADE  all  --  *      !docker0  172.17.0.0/16        0.0.0.0/0           
    0     0 MASQUERADE  tcp  --  *      *       172.17.0.2           172.17.0.2           tcp dpt:80
    0     0 MASQUERADE  tcp  --  *      *       172.17.0.2           172.17.0.2           tcp dpt:22

Chain DOCKER (2 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 RETURN     all  --  docker0 *       0.0.0.0/0            0.0.0.0/0           
    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:80 to:172.17.0.2:80
    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:2200 to:172.17.0.2:22
   22  1144 DNAT       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp dpt:8080 to:172.17.0.2:8080


iptables -t nat -L DOCKER -n -v | grep 'tcp dpt:' | awk '{print $11}'|awk -F ':' '{print $2}' 
80
2200
8080


ss -tnlp | awk '{print $4}' | awk -F ':' '{print $2}' | grep -vE '^\s*$'
6010
6011
6012
6013
80
22
2200

注意

  • 这个过程可能需要根据你的具体网络配置进行调整。
  • 如果你的Docker使用的不是默认的docker0网桥，你需要相应地调整命令中的网桥接口名称。
  • 这些规则在宿主机重启后不会自动恢复，你可能需要将它们添加到启动脚本中，或使用Docker的网络插件来管理这些规则。

请谨慎操作，并确保你理解每条命令的含义和潜在影响。

(～￣▽￣)～凤凰涅槃
关注
  • 9
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Docker笔记（9）：容器的资源分配
yaluoshan的专栏
11-17 1337
1.内存分配 内存限额与操作系统类似，容器可使用的内存包括两部分：物理内存和swap。Docker通过下面两组参数来控制容器内存的使用量。 （1）-m或-memory：设置内存的使用限额，例如100MB，2GB。 （2）-memory-swap：设置内存+swap的使用限额。 默认情况下对容器内存和swap的使用没有限制。如果在启动容器时只指定-m而不指定–memory-swap，那么–memory-swap默认为-m的两倍。 当我们执行如下命令： docker run -m 200M --memory-s
7+8+9、Docker数据持久化+Docker资源限制+-V1.pdf
10-11
7+8+9、Docker数据持久化+Docker资源限制+-V1.pdf
详解Docker cpu限制分析
01-10
本文测试了，Docker容器限制cpu资源使用的几个配置参数。分别使用top和dstat命令分析了资源占有情况。 package main import ( flag runtime fmt ) func main() { cpunum := flag.Int(cpunum, 0, cpunum) flag.Parse() fmt.Println(cpunum:, *cpunum) runtime.GOMAXPROCS(*cpunum) for i := 0; i < *cpunum - 1; i++ { go func() {
docker资源限制工具镜像，stress.tar
05-27
docker，container资源限制镜像
Docker入门系列–Docker资源限制（八）
01-07
Docker入门系列–Docker资源限制（八） 1、内存资源限制 相关说明 CGroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物力资源（如cpu mempry i/o等等）的机制。2007年进入Linux2.6.24内核，CGroup不是全新创咋的，它将进程管理从cpuset中剥离出来，作者是Google的Paul Menage 默认情况下，如果不对容器做任何限制，容器能够占用当前系统能给容器提供的所有资源 Docker限制可以从Memory、CPU、BlockI/O三个方面 OOME：Out Of
【云原生 | 20】Docker资源限制详解
小鹏linux的博客
08-01 1863
Linux Cgroup 全称 Linux Control Group， 是 Linux 内核的一个功能，用来限制，控制与分离一个进程组群的资源（如 CPU、内存、磁盘输入输出等）。这个项目最早是由 Google 的工程师在 2006 年发起，最早的名称为进程容器（ process containers ）。在 2007 年时，因为在 Linux 内核中，容器（container）这个名词太过广泛，为避免混乱，被重命名为 cgroup，并且被合并到 2.6.24 版的内核中去。......
Docker资源限制
weixin_51788903的博客
11-05 1570
Docker资源限制 在使用Docker运行容器时，一台主机上可能会运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平;大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。 CPU和内存的资源限制已经是比较成熟和易用，能够满足大部分用户的需求。磁盘限制也是不错的，虽然现在无法动态地限制容量，但是限制磁盘读写速度也能应对很多场景。 至于网络，Docker现在并没有给出网络限制的方案，也
Docker 资源限制
weixin_44772835的博客
10-15 430
前戏一个docker host上会运行若干容器，每个容器都需要CPU、内存和IO资源。对于KVM、VMware等虚拟化技术，用户可以控制分配多少CPU、内存资源给每个虚拟机。对于容器，Docker也提供了类似的机制避免某个容器因占用太多资源而影响其他容器乃至整个host的性能。内存限额与操作系统类似，容器可使用的内存包括两...
Docker Cgroups——Docker 资源限制背后的技术原理
RayPick的博客
03-31 4212
但是 Linux Cgroups 对资源的限制最大的问题还是限制不彻底，Linux 下的 /proc 路径下存储着当前内核运行状态的一系列特殊文件，用户可以通过访问这些文件来查看系统信息，它们也是 top 查看 CPU 占用的数据来源。代表在每 100ms 的时间里，被 9226c3249105f42d04b433baa134af9bb10891de2df72fe2edfc6f2bb0a41fb2 控制组限制的进程只能使用 20ms 的 CPU 时间，也就是这个进程最多只能使用 20% 的 CPU 带宽。
docker资源限制及应用总结1
08-03
一、CPU资源控制 二、内存配额控制 二、内存配额控制 三、磁盘IO配额控制
Docker--（六）--Docker资源限制
qq_47800859的博客
03-04 1824
前言 系统压力测试 Cpu资源限制 Mem资源限制 IO 资源限制【扩展】
docker的资源限制
weixin_46715997的博客
05-31 462
前面提到过 cgroup对容器container进行资源限制，namespace对container进行隔离。 首先先来熟悉一下什么是资源控制 INSTALL测压工具 yum -y install epel-release yum -y install stress pull一个centos和一个测压镜像 docker pull centos:7.3.1611 docker pull progrium/stress 前提说明，docker的conta...
Docker Compose资源限制
SpringLei
06-20 2317
Umami服务的CPU使用被限制在最多50%的CPU能力，内存使用被限制在最多500MB。同时，这个服务至少需要25%的CPU和200MB的内存。这里的关键在于添加--compatibility。参数以兼容模式来运行，否则限制不会生效。这个容器被成功限制为。
docker资源限制
TimeRovers的博客
06-09 368
官方文档：https://docs.docker.com/config/containers/resource_constraints/ 默认情况下，容器没有资源约束，可以使用主机内核调度器允许的给定资源。Docker提供了控制容器可以使用多少内存或CPU的方法，设置Docker run命令的运行时配置标志。本节详细介绍了何时应设置此类限制以及设置这些限制可能带来的影响。 这些特性中的许多都要求内核支持Linux功能。要检查支持，可以使用docker info命令。如果内核中禁用了某个功能，您可能会在.
从docker镜像反推Dockerfile
Merlin's Engineering Blog
05-27 354
在项目运维的过程中，偶尔会遇到某个docker image打包时候的Dockerfile版本管理不善无法与image对应的问题，抑或需要分析某个三方docker image的构建过程，这时，就希望能够通过image反推构建时的instruction.想实现这个过程可以使用一些三方工具比如dive，但是需要额外的安装，其实docker本身也有可用的功能，能帮助我们分析image的构建命令.
使用dockerfile快速构建一个带ssh的docker镜像
qq_42693842的博客
05-29 227
镜像启动后没有自动启动ssh。需要手动进入镜像启动。
Docker搭建Redis主从 + Redis哨兵模式（一主一从俩哨兵）
weixin_42599091的博客
05-29 782
v /opt/docker/redis/conf/redis.conf:/etc/redis/redis.conf ## 容器里的redis配置文件与/opt/docker/redis/conf/redis.conf下的配置文件互相通信。-v /opt/docker/redis/data:/data ## 将容器里的数据挂载到宿主机/opt/docker/redis/data目录下。进入到 cd /opt/docker/redis/conf 把 redis.conf 配置文件放到这里。
Docker基础篇之常用命令
qq_43456605的博客
05-27 975
启动docker： 停止docker： 重启docker： 查看docker 的运行状态： 开机启动： 查看docker该要信息： 查看docker 帮助文档 查看docker命令帮助文档： 同一个仓库源可以有多个Tag版本，代表这个仓库源的不同个版本，我们使用Repository:Tag来定义不同的镜像。 它的options选项说明如下： docker search [options]：远程库中查找某个镜像的名称 它的options选项说明如下： docker pull 某个xxx镜像名字：将
Docker基础命令(三)
最新发布
junjunzai123的博客
05-29 237
背景: 在很多时候, 训练模型的时候, 记录的log日志中标记的时间和实际的时间不一致, 往往是容器时间和本地时间不一致照成的.
docker容器追加资源限制
12-20
可以使用Docker的资源限制功能来为容器追加资源限制。具体的方法如下： 1. 内存资源限制： 可以使用`--memory`选项来限制容器的内存使用量。例如，要将容器的内存限制为1GB，可以使用以下命令： ```shell docker run --memory=1g <image_name> ``` 2. CPU资源限制： 可以使用`--cpus`选项来限制容器可以使用的CPU核心数量。例如，要将容器限制为使用1个CPU核心，可以使用以下命令： ```shell docker run --cpus=1 <image_name> ``` 3. 网络资源限制： 可以使用Docker的网络功能来限制容器的网络资源使用。通过创建自定义网络并将多个容器连接到该网络，可以实现应用程序的多个方面。例如，可以使用以下命令创建一个自定义网络： ```shell docker network create mynetwork ``` 然后，可以使用`--network`选项将容器连接到该网络： ```shell docker run --network=mynetwork <image_name> ``` 请注意，以上命令中的`<image_name>`应替换为您要运行的容器的镜像名称。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

(～￣▽￣)～凤凰涅槃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值