Docker：（八）私有仓库部署、cgroup资源限制_docker daemon.json 配置cgroup-CSDN博客

vim /etc/docker/daemon.json
{ 
  "insecure-registries": ["192.168.137.20:5000"], #添加此段，“，”不可少，ip是本机IP地址
  "registry-mirrors": ["https://4abdkxlk.mirror.aliyuncs.com"]
}

systemctl daemon-reload
systemctl restart docker.service

1.3创建registry容器并开放端口

docker create -it registry:latest /bin/bash
docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry
'//-p指定端口，一内一外；-v表示挂载，前者是宿主机，后者是容器'

1.4给镜像打标签后上传到私有仓库

必须先给镜像打标签再上传，不然默认是去公共仓库

#打标签
docker tag nginx:latest 192.168.137.20:5000/nginx
#上传
docker push 192.168.137.20:5000/nginx

1.5获取私有仓库列表查看是否上传成功

curl -XGET http://192.168.137.20:5000/v2/_catalog

'//若成功会返回以下值'
{"repositories":["nginx"]}

1.6验证：从私有仓库下载镜像

先删除原有的 centos 镜像，在从本地仓库下载进行测试

#删除原有镜像
docker rmi 192.168.137.20:5000/nginx:latest 
#查看镜像
docker images 
#从本地仓库下载镜像
docker pull 192.168.137.20:5000/nginx
#查看镜像
docker images

小结

怎么获取registry的镜像仓库中的镜像信息

curl -XGET http://192.168.59.111:5000/v2/_catalog

二：cgroup控制资源

2.1cgroup资源配置方法

docker 使用cgrqup控制资源，K8S 里面也有limit（使用上限）

docker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

Cgroup 是 Control group 的简写，是 Linux 内核提供的一种限制所使用物理资源的机制，包括 CPU、内存和 IO 这三大方面，基本覆盖了常见的资源配额和使用量控制

cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段

blkio：设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
CPU：使用调度程序为cgroup任务提供CPU的访问。
cpuacct：产生cgroup任务的CPU资源报告。
cpuset：如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU的内存。
devices：允许或拒绝cgroup任务对设备的访问。
freezer：暂停和恢复cgroup任务。
memory：设置每个cgroup的内存限制以及产生内存资源报告。
net_cls：标记每个网络包以供cgroup方便使用。
ns：命名空间子系统。
perf_event：增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。

2.2对CPU使用率的控制

2.2.1使用stress工具测试CPU 和内存使用情况

mkdir /opt/stress
vim /opt/stress/Dockerfile

——————————————————————————————————————————————————————————————————————————————

FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo		#epel源，可以使用扩展软件包（stress）
RUN yum -y install stress		#可以指定产生线程，使用循环语句，测试用'

——————————————————————————————————————————————————————————————————————————————
cd /opt/stress/
systemctl restart docker.service		#建议重启docker，不然下面的操作可能会失败，卡在wget
docker build -t centos:stress .		#生成镜像
...
...
Successfully built 7e69cc4d1b07
Successfully tagged centos:stress

docker images 

#以下可以使用该镜像为基础产生的容器进行测试：

2.2.2设置CPU资源占用比（设置多个容器时才有效）

Docker通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数。

资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。

cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它。

说明:默认情况下，每个Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。如果容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share可以设置容器使用CPU的优先级，比如启动了两个容器及运行查看CPU使用百分比。

示例：创建两个容器为cpu512和cpu1024，若只有这两个容器，设置容器的权重，使得cpu512和cpu1024的CPU资源占比为1/3和2/3。

docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10    #-c 10表示产生10个子线程，测试用
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10

#查看容器的资源使用状态（动态更新）
docker stats

资源是用cadvisor收集的

2.2.3限制 CPU 使用周期速率

Docker 提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。

–cpu-period（周期）是用来指定容器对CPU的使用要在多长时间内做一次重新分配。默认将cpu所有容器在一个周期里面全都设置。

–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器默认是10万。与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。

–cpu-quota 的值默认为-1，表示不做控制。–cpu-period 和 --cpu-quota参数一般联合使用。

cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us
#-1，表示不做控制

#例如:容器进程需要每Ⅰ秒使用单个cPU的 0.2秒时间，可以将 --cpu-period 设置为1000000(即1秒)，cpu-quota 设置为200000 0.2秒)。
#当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 100000(即 0.1秒)，cpu-quota 设置为200000 （0.2秒)。
docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress 

#也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us

#法一：进入指定容器查看
docker exec -it test01 bash
cd /sys/fs/cgroup/cpu
cat cpu.cfs_period_us 
cat cpu.cfs_quota_us

#法二：docker inspect 容器ID
docker inspect ffcb2f0b7593

2.2.4限制 CPU 内核使用

可以通过配置，使得某些程序独享 CPU 内核，以提高其处理速度
对多核CPU的服务器，Docker还可以控制容器**运行使用哪些CPU内核**，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
#执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的 cgroup的 CPU内核配置如下

cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus

docker exec -it cpu1 /bin/bash -c "stress -c 10"

2.2.5CPU配额控制参数的混合使用

（1）通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。

（2）在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。

（3）cpuset-cpus、cpuset-mems参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。

（4）在系统具有多个CPU内核的情况下，需要通过cpuset-cpus 参数为设置容器CPU内核才能方便地进行测试。

#测试前需要将宿主系统修改为4核心CPU，创建两个容器,分别指定不同的cpu
docker run -tid --name cpu2 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
 
#记住按1查看每个核心的占用
top

总结:上面的centos:stress镜像安装了stress 工具，用来测试CPU和内存的负载。通过在两个容器上分别执行stress -c1 命令，将会给系统一个随机负载，产生1个进程。这个进程都反复不停的计算由 rand() 产生随机数的平方根，直到资源耗尽。
观察到宿主机上的CPU使用率，第三个内核的使用率接近100%，并且一批进程的CPU使用率明显存
在2:1的使用比例的对比。

2.2.6对内存限额

（1）与操作系统类似，容器可使用的内存包括两部分：物理内存和Swap。Docker 通过下面两组参数来控制容器内存的使用量。

-m 或--memory:设置内存的使用限额，例如100M、1024M。
--memory-swap:设置内存+swap的使用限额。

（2）执行如下命令允许该容器最多使用200M的内存和300M的swap。

docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
--vm 1:启动1个内存工作线程。
--vm-bytes 280M:每个线程分配280M内存。

（3）默认情况下，容器可以使用主机上的所有空闲内存。与CPU的cgroups配置类似，Docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长ID>中创建相应cgroup配置文件。如果让工作线程分配的内存超过300M，分配的内存超过限额，stress线程报错，容器退出。

docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

2.3Block lO的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器 block IO的优先级。
–blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。

在下面的例子中，容器A读写磁盘的带宽是容器B的两倍

#容器A
docker run -it --name container_A --blkio-weight 600 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight
#容器B
docker run -it --name container_B --blkio-weight 300 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight

2.4bps和iops的限制

bps是byte per second，每秒读写的数据量(吞吐量)。iops 是io per second，每秒IO的次数。
可通过以下参数控制容器的bps和iops：

--device-read-bps，限制读某个设备的bps。
--device-write-bps，限制写某个设备的bps。
--device-read-iops，限制读某个设备的iops。
--device-write-iops，限制写某个设备的iops。

#下面的示例是限制容器写/dev/sda 的速率为5MB/s
docker run -it --device-write-bps /dev/sda:5MB centos:stress 
dd if=/dev/zero of=test bs=1M count=100 oflag=direct
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s

#通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的。
#在容器中写文件相当子对host /dev/sda进行写操作。另外，oflag=direct指定用direct IO 方式写文件，这样--device-write-bps才能生效。
#结果表明限速 5MB/s左右。作为对比测试，如果不限速，结果如下。
docker run -it centos:stress 
dd if=/dev/zero of=test bs=1M count=100 oflag=direct
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s

三：构建镜像时指定资源限制

--build-arg=[] :          设置镜像创建时的变量;
--cpu-shares :            设置cpu使用权重;
--cpu-period :            限制CPU CFS周期;
--cpu-quota :             限制CPU CFS配额;
--cpuset-cpus :           指定使用的CPU id;
--cpuset-mems :           指定使用的内存id;
--disable-content-trust : 忽略校验，默认开启;
-f :                      指定要使用的Dockerfile路径;
--force-rm :              设置镜像过程中删除中间容器;
--isolation :             使用容器隔离技术;
--label=[] :              设置镜像使用的元数据;
-m :                      设置内存最大值;
--memory-swap :           设置Swap的最大值为内存swap， "-1"表示不限swap;
--no-cache :              创建镜像的过程不使用缓存;
--pull :                  尝试去更新镜像的新版本;
--quiet, -q :             安静模式，成功后只输出镜像ID;
--rm :                    设置镜像成功后删除中间容器;
--shm-size :              设置/dev/shm的大小，默认值是64M;
--ulimit :                Ulimit配置;
--squash :                将Dockerfile 中所有的操作压缩为一层;
--tag, -t:                镜像的名字及标签，通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签。
--network :               默认default；在构建期间设置RUN指令的网络模式

四：总结

4.1Cgroups如何工作的？

CPU —>VCPU–>以进程的方式体现在workstation环境(docker环境中) —》docker表现形式是容器，–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理（通过分配资源手段）–》linux内核中的cgroup可以直接控制VCPU的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也可以认为Cgroups在直接/间接管理docker容器中的应用

4.2cgroup对cpu限制小结

Cgroups 控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vwM中进程资源—》docker容器的资源—》docker容器内应用的资源

控制的主体包括:CPU、内存、I/O

主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:

①cpu-shares权重指的是多个容器使用同一个CPU的情况下，被分配到CPU资源的机会占比

②cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指定

③cpuset-cpus指定容器，仅能使用指定的CPU，按照CPU的下标来表示

4.3cgroup对内存的限制小结

Cgroups 对于内存的限制，主要体现在以下两个部分：

①内存使用上限（硬限制）

②内存+swap使用上限（硬限制)

类比于K8s中的资源限制手段，也是使用的cgroups的技术，体现为limit

respones:
  request:    #分配的初始资源
    cpu：100m
    memory：100m
  limits：
    cpu：300m
    memory：200m

4.4资源限制的主要类型

CPU权重shares、 quota、 cpuset
磁盘BPS、 TPS限制，指定使用哪个磁盘、磁盘分区
内存 -m - swap 内存、交换分区
大部分做的是上限的限制

4.5资源限制的几种方式

build构建镜像时，可以指定该镜像的资源限制

run将镜像跑为容器的时候，可以指定容器的资源限制

容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载

/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容器ID/ ——>修改对应的资源限制文件参数就可以

4.6资源限制的状态查询

docker inspect 镜像ID/容器ID
直接查看宿主机对应容器ID资源限制的文件

cgroup资源docker 原理之一， namespaces 6个名称空间

可以指定该镜像的资源限制

run将镜像跑为容器的时候，可以指定容器的资源限制
容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容器ID/ ——>修改对应的资源限制文件参数就可以