Dockr网络部分详解和资源控制管理
Docker网络部分详解
docker网络概述
docker网络实现的原理
- Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP, 同时Docker网桥是 每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的Container-IP直接通信。
使用ifconfig可以查看docker容器的网桥(docker0)
默认IP为172.17.0.1
容器内先安装net-tools工具yum install -y net-tools然后查看容器IP(container ip)
- Docker网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法直接通过Container-IP访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主主机(端口映射),即dockerrun创建容器时候通过-p或-P参数来启用,访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。
如下案例:
docker run -itd --name test1 -P nginx:latest #使用大写p进行随机端口映射
docker run -itd --name test2 -p 43210:80 nginx:latest #使用小写p加端口进行指定的端口映射
浏览器访问:http://192.168.10.8:49153/
http://192.168.10.8:43210/
原因是通过iptables的DNAT完成ip的转换
docker的网络模式
1、Host:容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。
2、Container:创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围。
3、None:该模式关闭了容器的网络功能。
4、Bridge:默认为该模式,此模式会为每一个 容器分配、设置IP等,并将容器连接到一个docker0虛拟网桥,通过docker0网桥以及iptables nat表配置与宿主机通信。
自定义网络:安装Docker时,它会自动创建三个网络,bridge (创建容器默认连接到此网络)、none 、host
- 安装Docker时,它会自动创建三个网络,bridge (创建容器默认连接到此网络)、none 、host。
docker network ls 或 docker network list #查看docker网络列表
- 使用docker run 创建Docker容器时,可以用–net或–network 选项指定容器的网络模式
host模式:使用--net=host 指定。
none模式:使用--net=none 指定。
container模式:使用--net=container:NAME_ _or_ ID指定。
bridge模式:使用--net=bridge 指定,默认设置,可省略。
Docker 网络模式详解
Host模式
相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境,包括网卡、路由、iptable规则 等都与其他的Network Namespace隔离。
____一个Docker容器一般会分配一个独立的Network Namespace 。但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的NetworkNamespace,而是和宿主机共用一个Network Namespace。 容器将不会虚拟出自己的网卡、配置自己的IP等,而是使用宿主机的IP和端口。
none模式
使用none模式,Docker 容器拥有自己的Network Namespace, 但是,并不为Docker容器进行任何网络配置。
也就是说,这个Docker容器没有网卡、IP、路由等信息。这种网络模式下容器只有lo回环网络,没有其他网卡。这种类型的网络没有办法联网,封闭的网络能很好的保证容器的安全性。
container模式
在理解了host模式后,这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace(网络命名空间),而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo网卡设备通信
根据容器pid查看该容器的Network Namespace
docker inspect -f '{{.State.Pid}}' c9a4f4cab515
ll /proc/3462/ns
创建新容器,模式为container模式
dockr run -itd --name test3 --net=container:c9a4f4cab515 nginx bash
查看新创建容器的Network Namespace 和之前的是否一致,可以看出是一致的。
docker inspect -f '{{.State.Pid}}'426d562ae8d9
bridge模式
空格 bridge模式是docker的默认网络模式,不用–net 参数,就是bridge模式。
____相当于Vmware中的nat 模式,容器使用独立network Namespace, 并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信,此模式会为每一个容器分配Network Namespace、 设置IP等, 并将一个主机上的Docker容器连接到一个虚拟网桥上。
(1) 当Docker进程启动时,会在主机上创建一个名为docker0的虚拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。
(2) 从docker0子网中分配一-个IP给容器使用,并设置docker0的IP地址为容器的默认网关。在主机上创建—对虚拟网卡veth
pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。
(3) Docker将 veth pair设备的一-端放在新创建的容器中,并命名为eth0 ( 容器的网卡),另一端放在主机中,以veth*
这样类似的名字命名,并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。
(4) 使用docker run -p时,docker 实际是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL
查看。
自定义网络模式
##直接使用bridge模式,是无法支持指定IP运行docker的,例如执行以下命令就会报错
docker run -itd --name test4 --network bridge --ip 172.17 .0.10 centos:7 /bin/bash
#直接指定IP会报错,如图所示
自定义网络模式创建步骤
1)可以先自定义网络,再使用指定IP运行docker
docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork
#docker1为执行ifconfig -a命令时,显示的网卡名,如果不使用–opt 参数指定此名称,那你在使用ifconfig -a命令查看网络信息时,看到的是类似br-110eb56a0b22 这样的名字,这显然不怎么好记。
#mynetwork为执行docker network list 命令时,显示的bridge网络模式名称。
2)使用指定IP运行docker
docker run -itd --name test5 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash
Docker资源控制管理
对cpu控制
cgroups,是一个非常强大的linux内核工具,他不仅可以限制被namespace隔离起来的资源,
还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。
cgroups有四大功能:
-
资源限制:可以对任务使用的资源总额进行限制;
-
先级分配:通过分配的cpu时间片数量以及磁盘I0带宽大小实际上相当于控制了任务运行优先级;
-
资源统计:可以统计系统的资源使用量,如cpu时长, 内存用量等;
-
任务控制: cgroup可以对任务执行挂起、恢复等操作。
设置CPU使用率上限
Linux通过CFS ( Completely Fair Scheduler, 完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。
使用–cpu-period即可设置调度周期,使用–cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS周期的有效范围是1ms~1s, 对应的–cpu-period的数值范围是1000~1000000。
容器的CPU 配额必须不小于1ms,即–cpu-quota 的值必须>= 1000。
-
查看cpu使用率
docker run -itd --name test1 centos:7 /bin/bash docker ps -a cd /sys/fs/cgroup/cpu/docker/00eb23039e30762087eaac4516c2aad59140b7d2888d174ff9e8cef46e5f9069/ cat cpu.cfs_period_us cpu.cfs_quota_us #两个文件一个是cfs周期范围 #一个是容器限额文件
-
测试cpu使用率
docker exec -it 00eb23039e30 bash vi cpu.sh #!/bin/bash i=0 while true do let i++ done chmod +x cpu.sh ./cpu.sh & 另一个终端使用top查看
- 进入容器写一个死循环脚本
- 重新开一个终端进行查看,可以看到CPU已经被占满
-
设置cpu使用率
#设置50%的比例分配CPU使用时间上限 docker run -itd --name test2 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额 cat cpu.cfs_quota_us cpu.cfs_period_us 50000 100000 docker exec -it 45a914abdf2b bash ./cpu.sh 另一个终端使用top查看
echo 50000 > cpu.cfs_quota_us #修改参数
设置CPU资源占用比(设置多个容器时才有效)
Docker通过–cpu-shares指定CPU份额,默认值为1024,值为1024的倍数。
示例:创建两个容器为test1 和test2, 若只有这两个容器,设置容器的权重,使得test1和test2的CPU资源占比为1/3和2/3。
docker run -itd --name test1 --cpu-shares 1024 centos:7
docker run -itd --name test2 --cpu-shares 512 centos:7
#分别进入容器,进行压力测试
docker exec -it a149615439b1 bash
yum install -y epel-release
yum install stress -y
stress -c 4 #产生四个进程,每个进程都反复不停的计算随机数的平方根
重新开一个终端,使用docker stats命令查看CPU占比
对内存使用进行控制
-m(–memory=)选项用于限制容器可以使用的最大内存
docker run -itd --name test3 -m 512m centos:7 /bin/bash
docker stats
#限制可用的 swap 大小, --memory-swap
注意:–memory-swap 是必须要与 --memory 一起使用的。
正常情况下,–memory-swap 的值包含容器可用内存和可用 swap。
所以 -m 300m --memory-swap=1g 的含义为∶容器可以使用 300M 的物理内存,并且可以使用 700M(1G - 300)的 swap。
如果 --memory-swap 设置为 0 或者 不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同,则容器不能使用 swap。
如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,而可以使用的 swap 空间使用不受限制(宿主机有多少 swap 容器就可以使用多少)
docker run -itd --name test4 -m 512m centos:7 bash
docker stats
对磁盘IO配额控制(blkio)的限制
–device - read-bps:限制某个设备上的读速度bps (数据量),单位可以是kb、mb (M)或者gb。
docker run -itd --name test5 --device-read-bps /dev/sda:1M centos:7 bash
–device-write-bps :限制某个设备上的写速度bps (数据量),单位可以是kb、mb (M)或者gb。
docker run -itd --name test5 --device-write-bps /dev/sda:1M centos:7 bash
–device-read-iops :限制读某个设备的iops (次数)
–device-write-iops :限制写入某个设备的iops (次数)
实例:创建容器限制写速度
docker run -itd --name test4 --device-write-bps /dev/sda:1M centos:7 bash
# 创建测试容器
docker ps -a
docker exec -it bash
mkdir test
cd test
dd if=/dev/zero of=test.txt bs=2M count=5 oflag=direct #添加oflag参数以规避掉文件系统