Docker 私有仓库、Cgroup资源限制
目录
一、私有仓库
1.建立仓库
docker’ pull registry
2.加速私有仓库
vim /etc/docker
{
"insecure-registries":["192.168.72.11:5000"],
*
}
systemctl daemon-reload
systemctl restart docker
3.创建仓库
docker create -it registry /bin/bash
4.开启仓库并挂载目录
docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry
5.上传镜像到仓库
①打上标签
docker tag nginx:latest 192.168.72.11:5000/nginx
②上传镜像
docker push 192.168.72.11:5000/nginx:v1
6.下载镜像
查看镜像
表示上传成功
docker pull 192.168.72.11:5000/nginx:v1
二、Cgroup资源
Cgroup是底层原理之一,它下面有六个子名称空间
Cgroup是控制资源的限制,它的限制也包含这硬限制和软限制
Docker使用cgroup控制资源,K8S 里面也有limit(使用上限)
Docker通过Cgroup来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,
基本覆盖了常见的资源配额和使用量控制。
Cgroup 是Control Groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(多个进程)所使用的物理资源(如 CPU、内存、磁盘IO等等)的机制
容器是使用一个个进程管理的,所以容器管理进程组相当于管理整个容器的资源,间接认为管理容器
可以控制资源分配通过操作系统内核,控制应用程序使用内存资源、cpu资源、文件系统资源等等cgroup是一种资源控制手段
也是容器隔离的6个名称空间的一种实现手段,每个容器相当于一个进程
1.CPU使用率控制
cpu周期: 1s为一个周期的定律(周期限制,一秒钟一次),参数值一般为100000 (CPU衡量单位是秒)相当于100%
假如需要给此容器分配cpu使用率的20% ,则参数需要设置为20000,相当于每个周期分配给这个容器0.2s
cpu在一个时刻,只能给一个进程占用
①使用stress压力测试工具测试cpu和内存使用情况
使用Dockerfile来创建一个基于Centos的stress工具镜像
mkdir /opt/stress
cd /opt/stress
vim Dockerfile
FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress
docker build -t centos:stress .
②限制cpu
使用命令创建容器,命令中的cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的cpu资源,它仅是一个弹性的加权值
docker run -itd --cpu-shares 100 centos:stress
默认情况下,每个 Docker容器的cpu份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时,容器的 cpu加权的效果才能体现出来。
例如,两个容器A、B的 cpu份额分别为1000和 500,在cpu进行时间片分配的时候,容器A比容器B多一倍的机会获得cpu的时间片。但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器﹖一定能获得cpu时间片。比如容器A的进程一直是空闲的,那么容器B是可以获取比容器A更多的cpu时间片的。
极端情况下,例如主机上只运行了一个容器,即使它的cpu份额只有50,它也可以独占整个主机的cpu资源。
2.Cgroups-优先级/权重限制
只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它,资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share 设置容器使用CPU 的优先级/权限,比如启动了两个容器及运行查看CPU使用百分比。
docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #容器内部模拟10个子函数进程
docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #另开一个做比较
docker stats
相当于是1:2的资源分配
cadvisor可以把容器的数据收集过来进行持续性展示,一个可视化界面,docker stats的数据就是从cadvisor来的
3.CPU的周期限制
Docker提供了cpu-period、cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
管理容器的过程:宿主机通过物理cpu以虚拟化的方式模拟出虚拟cpu,虚拟cpu以进程的方式体现在workstation环境(docker环境),docker表现形式是容器,所以虚拟化cpu以进程的方式控制容器。
容器中的应用需要的是服务进程的支持,所以宿主机内核中的cpu可以被cgroup管理(通过分配资源手段),而linux内核中的cgroup可以直接控制虚拟cpu的资源分配,虚拟cpu在workstation中是以进程的方式管理docker容器的,所以也可以认为cgroups在直接/间接的管理docker容器中的应用。
①cpu-period是用来指定容器对cpu的使用要在多长时间内做一次重新分配
②cpu-quota用来指定在这个周期内,最多可以有多少时间用来跑这个容器,与cpu-shares 不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。
③cpu-period和cpu-quota 的单位为微秒(μs)。cpu-period 的最小值为1000微秒,最大值为 1秒(10^6μs),默认值为0.1秒(100000 μs)
cpu-quota的值默认为-1,表示不做控制(不做任何限制)
cd /sys/fs/cgroup/cpu/docker容器id/cpu.cfs_quota_us
例如
容器进程需要每1秒使用单个CPU的0.2秒时间,可以将cpu-period 设置为1000000 (即1秒),cpu-quota 设置为200000 (0.2秒)。
当然,在多核情况下,如果允许容器进程完全占用两个cpu, 则可以将cpu-period 设置为100000 (即0.1秒),cpu-quota设置为200000 (0.2 秒)。
4.查询容器中的资源限制参数
docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
①在指定容器目录中
docker exec -it peaceful_brown bash
cd /sys/fs/cgroup/cpu
cat cpu.cfs_quota_us
cat cpu.cfs_period_us
②使用docker inspect容器ID/容器名
docker inspect peaceful_brown
5.cpu核心数控制(cpu core)
对多核CPU的服务器,Docker 还可以控制容器运行使用哪些CPU内核,即使用–epuset-cpus参数。这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。
①创建容器时直接使用命令参数指定cpu使用的核心数
docker run -itd --name centos_cpu1 --cpuset-cpus 0-1 centos:stress
执行命令表示创建容器只能使用0/1两个内核
cat /sys/fs/cgroup/cpuset/docker/f0a61b6e4d8f264a5b577edb956eb91875a6b0fd69359d5d2bea0aa2faffc4f7/cpuset.cpus
0-1
②创建容器后,指定资源分配
对已经运行的容器进行cpu分配
docker exec centos_cpu2 taskset -c -p 1
6.cpu配额控制参数的混合使用
通过cpuset-cpus 参数指定容器A使用CPU内核0,容器B只使用CPU内核1。
在主机上只有这两个容器使用对应CPU内核的情况,它们各自占用全部的内核资源,cpu-shares没有明显效果。
cpuset-cpus、cpuset-mems参数只在多核、多内存节点上的服务器上有效,并且必须与实际的物理配置匹配,否则也无法达到资源控制的目的。
在系统具有多个 cPU内核的情况下,需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。
docker run -tid --name centos_cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
top #按1查看每个核心的占用
docker run -tid --name centos_cpu4 --cpuset-cpus 1 --cpu-shares 1024 centos:stress stress -c 1
进行对比
docker stats
上面的 centos:stress镜像安装了stress 工具,用来测试CPU和内存的负载。通过在两个容器上分别执行 stress -c 1 命令,将会给系统一个随机负载,产生1个进程。这个进程都反复不停的计算由rand()产生随机数的平方根,直到资源耗尽。
观察到宿主机上的CPU使用率,第三个内核的使用率接近100%,并且一批进程的CPU使用率明显存在2:1的使用比例的对比。
7.内存限额
与操作系统类似,容器可使用的内存包括两部分:物理内存和Swap。
Docker通过下面两组参数来控制容器内存的使用量。
-m或–memory: 设置内存的使用限额,例如100M、 1024M
-memory-swap:设置内存+swap的使用限额
docker run -it -m 200M --memory-swap=300M centos:stress --vm 1 --vm-bytes 280M
这条命令时允许该容器最多使用200m的内存和300m的swap
--vm 1:启动一个内存工作线程
--vm-bytes 280M:每个线程分配280M内存
8.Block I/O的限制
默认情况下,所有容器能平等地读写磁盘,可以通过设置-blkio-weigh参数来改变容器block I/0的优先级。
–blkio-weight 与–cpu-shares 类似,设置的是相对权重值,默认为500。
例:让容器A读写磁盘的带宽是容器B的两倍
docker run -it --name stress_01 --blkio-weight 600 centos:stress
cat sys/fs/cgroup/blkio/blkio.weight
docker run -it --name stress_02 --blkio-weight 300 centos:stress
cat sys/fs/cgroup/blkio/blkio.weight
9.bps和iops的限制
控制磁盘的实际IO
bps是bytepersecond,每秒读写的数据量。
iops是io per second, 每秒 IO 的次数。
可通过以下参数控制容器的bps和iops
–device-read-bps限制读某个设备的bps
–device-read-iops限制读某个设备的iops
–device-write-iops限制写某个设备的iops
①限制容器写/dev/sda的速率为5mb/s
docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=10 oflag=direct #direct:磁盘
②限制容器写/dev/sda的速率为10mb/s
docker run -it --device-write-bps /dev/sda:10MB centos:stress
dd if=/dev/zero of=test bs=1M count=100 oflag=direct
③对磁盘不做限制
明显比做限制快很多
10.构建镜像(docker build)时指定资源限制
-build-arg=[ ]: 设置镜像创建时的变量
--cpu-shares: 设置cpu使用权重
--cpu-period: 限制cpu cfs周期
--cpu-quota: 限制cpu cfs配额
--cpuset-cpus: 指定使用的cpu id
--cpuset-mems: 指定使用的内存id
--disable-content-trust: 忽略校验,默认开启
-f: 指定要使用的Dockerfile路径
--force-rm: 设置镜像过程中删除中间容器
--isolation: 使用容器隔离技术
--label=[ ]: 设置镜像使用的元数据
-m: 设置内存最大值
--memory-swap: 设置swap的最大值为内存+swap,"-1"表示不限swap
--no-cache: 创建镜像的过程不使用缓存
--pull: 尝试去更新镜像的新版本
--quiet, -q: 安静模式,成功后只输出镜像ID
--rm: 设置镜像成功后删除中间容器
--shm-size: 设置/dev/ shm的大小,默认值是64M
--ulimit: Ulimit配置。
--squash: 将Dockerfile中所有的操作压缩为一层。
--tag,-t: 镜像的名字及标签,通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签
--network: 默认default。在构建期间设置RUN指令的网络模式