Docker网络与资源控制

目录

一、Docker 网络

1.1 Docker网络实现原理

1.2 Docker的网络模式（4+1）

1.3 Docker指定容器的网络模式

二、Docker网络模式详解

host模式

container模式

none模式

bridge模式

自定义网络

三、资源控制

3.1 对CPU资源的控制

3.1.1设置CPU使用率上限

3.1.2 3.查看CPU使用率

3.1.3 测试CPU使用率

3.1.4 设置CPU使用率

3.1.5 设置CPU资源占用比（设置多个容器时才有效）

3.2 对内存使用的限制

3.3 对磁盘IO配额的限制

3.3.1 设置限制项

3.3.2 创建容器，并限制写速度

3.3.3 通过dd来验证写速度

3.3.4 清理docker占用的磁盘空间

---

一、Docker 网络

1.1 Docker网络实现原理

• Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP 直接通信。
• Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过Container-IP访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机(端口映射)，即dockerrun创建容器时候通过-p或-P参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

docker rm $(docker ps -a -q) 					#批量清理后台停止的容器
格式：
docker run -d --name test1 -P nginx            	#-P不指定，随机映射端口（从32768开始）
docker run -d --name test2 -p 43999:80 nginx	#-p指定映射端口
docker ps-a 

浏览器访问：http://192.168.80.17:49153与http://192.168.80.17:43999

#查看容器的输出和日志信息
docker logs 容器的ID/名称

 

 

 这个网段对外是不可见的

 -P随机映射端口

  -p指定映射端口

 

 

 

1.2 Docker的网络模式（4+1）

Host：容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。

容器和宿主机共用一个IP但是容器端口不能一样。

 Container：创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。

None：该模式关闭了容器的网络功能。

 Bridge：默认为该模式，此模式会为每一个容 器分配、设置IP等，并将容器连接到一个docker0虚拟网桥，通过docker0网桥以及iptables nat表配置与宿主机通信。

每个容器都有自己的ip地址，端口范围且不共享
每个容器都会连接到Docker0网桥上的虚拟网卡

自定义网络：安装Docker时，它会自动创建三个网络，bridge ( 创建容器默认连接到此网络)、none 、host。

docker network ls 或 docker network list		#查看docker

 

1.3 Docker指定容器的网络模式

使用docker run创建Docker容器时，可以用–net 或–network选项指定容器的网络模式。

• host模式：使用–net=host 指定。
• none模式：使用–net=none 指定。
• container模式：使用–net=container:NAME_or_ID指定。
• bridge模式：使用–net=bridge 指定，默认设置，可省略。

二、Docker网络模式详解

host模式

相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔 离文件系统，Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规 则等都与其他的Network Namespace隔离。
一个Docker容器一般会分配一个独立的Network Namespace 。
但如果启动容器的时候使用host模式，那么这个容器将不会获得一-个独立的NetworkNamespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等，而是使用宿主机的IP和端口。

container模式

在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

#新建一个容器
docker run -itd --name jzm1 nginx:latest /bin/bash
docker ps -a
docker inspect -f '{{.State.Pid}}' ea247844a2fa    #查看容器进程号

ls -l /proc/6590/ns 

​
docker run -itd --name jzm2 --net=container:ea247844a2fa nginx:latest /bin/bash
docker ps -a
docker inspect -f '{{.State.Pid}}' c90799105427 
ls -l /proc/6737/ns

​

 

 与相关内容的net号一致  容器共享网络IP与端口范围

none模式

使用none模式，Docker 容器拥有自己的Network Namespace, 但是，并不为Docker 容器进行任何网络配置。
也就是说，这个Docker容器没有网卡、IP、 路由等信息。这种网络模式下容器只有lo回环网络，没有其他网卡。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

bridge模式

bridge模式是docker的默认网络模式，不用–net参数， 就是bridge模式。
相当于Vmware中的nat模式，容器使用独立network Namespace，并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信，此模式会为每一个容器分配Network Namespace、 设置IP等，并将一个主机上的Docker 容器连接到一个虚拟网桥上。

1. 当Docker进程启动时，会在主机上创建一个名为dockex0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。
2. 从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。.
3. Docker将 veth pair设备的一- 端放在新创建的容器中，并命名为eth0 ( 容器的网卡)，另一端放在主机中，以veth *这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show 命令查看。
4. 使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL 查看。
    

 

自定义网络

直接使用bridge模式，是无法支持指定ip运行docker的，例如执行以下命令就会报错

docker run -itd --name test3 --network bridge --ip 172.17.0.10 centos:7 /bin/bash

 

创建自定义网络
可以先自定义网络，再使用指定IP运行docker

docker network create --subnet=172.20.0.0/16 --opt "com.docker.network.bridge.name "="nanjing" mynetwork

docker1为执行ifconfig -a命令时，显示的网卡名，如果不使用–opt 参数指定此名称，那你在使用ifconfig -a
命令查看网络信息时，看到的是类似br-110eb56a0b22这样的名字，这显然不怎么好记。
#mynetwork为执行docker network list命令时，显示的bridge网络模式名称。

docker run -itd --name jzm4 --net mynetwork --ip 172.20.0.10 centos:7 /bin/bash
docker exec -it 94e51429dd6e bash
ifconfig                                 #该命令需要安装net-tools

 

 

 

 

 

 

三、资源控制

3.1 对CPU资源的控制

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace隔离起来的资源，
还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups ( Control groups) 实现了对资源的配额和度量。

cgroups有四大功能：

1. 资源限制:可以对任务使用的资源总额进行限制
2. 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级
3. 资源统计:可以统计系统的资源使用量，如cpu时长， 内存用量等
4. 任务控制: cgroup可以对任务执行挂起、恢复等操作

3.1.1设置CPU使用率上限

• Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
• 我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
• 使用--cpu-period即可设置调度周期；
• 使用--cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
• CFS周期的有效范围是1ms1s，对应的`–cpu-period`的数值范围是10001000000。
• 容器的CPU配额必须不小于1ms，即--cpu-quota的值必须>=1000。

3.1.2 3.查看CPU使用率
 

docker run -itd --name jzm1 centos:7 /bin/bash
 
docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED         STATUS         PORTS     NAMES
a41f321fa939   centos:7   "/bin/bash"   6 seconds ago   Up 5 seconds             jzm1
 
cd /sys/fs/cgroup/cpu/docker/a41f321fa939883a3996ca5b6710b23965d2ce37915c4e2341c593910ac38c5d/

cat cpu.cfs_period_us cpu.cfs_quota_us
100000
-1
----------------------------------------------
#cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。
#cpu.cfs_quota_us：表示该control group限制占用的时间（微秒），默认为-1，表示不限制
-----------------------------------------------

 

3.1.3 测试CPU使用率

docker exec -it 23f23129d461 bash
 
vi cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
 
chmod +x cpu.sh
./cpu.sh &
另一个终端使用top查看

 

 

 

 

3.1.4 设置CPU使用率

#设置50%的比例分配CPU使用时间上限
docker run -itd --name jzm2 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/fbfc08e652c8e70117ff9ec32c4cf66ae3e7740366e9eef36338634ff1cc5c69/
echo 50000 > cpu.cfs_quota_us #修改参数
 
cat cpu.cfs_quota_us cpu.cfs_period_us
50000
100000
 
docker exec -it fbfc08e652c8 bash
./cpu.sh
 
另一个终端使用top查看

 

 

 

 

3.1.5 设置CPU资源占用比（设置多个容器时才有效）

Docker通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数。
 
示例：创建两个容器为test1 和test2， 若只有这两个容器，设置容器的权重，使得test1和test2的CPU资源占比为1/3和2/3。
 
docker run -itd --name test1 --cpu-shares 1024 centos:7
docker run -itd --name test2 --cpu-shares 512 centos:7
 
#分别进入容器，进行压力测试
docker exec -it 897d52d126e1 bash
yum install -y epel-release
yum install stress -y
stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根
 
#查看容器的运行状态（动态更新）
docker stats
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O     PIDS
897d52d126e1   test2     122.38%   177.7MiB / 3.686GiB   4.71%     30.4MB / 165kB   0B / 50.1MB   7
54107a0a0eaf   test1     275.43%   177.6MiB / 3.686GiB   4.71%     30.5MB / 211kB   0B / 50MB     7

#查看容器运行状态（动态更新）
docker stats

 进行压力测试（开4个终端）

 

 

 

 

 

3.2 对内存使用的限制

#创建指定物理内存的容器
-m(--memory=)选项用于限制容器可以使用的最大内存
docker run -itd --name jzm1 -m 512m centos:7 /bin/bash
docker stats

#创建指定物理内存和swap的容器
docker run -itd --name jzm2 -m 512m --memory-swap 1g centos:7 /bin/bash

强调一下，--memory-swap是必须要与--memory一起使用的
正常情况下，--memory-swap的值包含容器可用内存和可用swap
所以-m 300m --memory-swap=1g 的含义为:容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M）的swap
如果--memory-swap设置为0或者不设置，则容器可以使用的swap大小为-m值的两倍
如果--memory-swap的值和-m值相同，则容器不能使用swap
如果--memory-Swap值为-1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少，swap容器就可以使用多少)

 

3.3 对磁盘IO配额的限制

3.3.1 设置限制项

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb（M）或者gb。
例：docker run -itd --name jzm1 --device-read-bps /dev/sda:1M  centos:7 /bin/bash

--device-write-bps：限制某个设备上的写速度bps（数据量），单位可以是kb、mb（M）或者gb。
例：docker run -itd --name jzm2 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

--device-read-iops：限制读某个设备的iops（次数）
--device-write-iops：限制写入某个设备的iops（次数）

3.3.2 创建容器，并限制写速度

docker run -itd --name jzm1 --device-write-bps /dev/sda:5mb centos:7 /bin/bash

 

 

3.3.3 通过dd来验证写速度

docker exec -it cfa60bfee91c bash  #进入容器
dd if=/dev/zero of=test.out bs=1M count=50 oflag=direct #添加oflag参数以规避掉文件系统cache

 

3.3.4 清理docker占用的磁盘空间

docker system prune -a  #可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络