Docker资源限制

Linux的Cgroup:

Linux系统中经常有个需求就是希望能限制某个或者某些进程的分配资源。也就是能完成一组容器的概念，在这个容器中，有分配好的特定比例的cpu时 间，IO时间，可用内存大小等。于是就出现了cgroup的概念，cgroup就是controller group，最初由google的工程师提出，后来被整合进Linux内核中。

Cgroup是将任意进程进行分组化管理的Linux内核功能。cgroup本身提供将进程进行分组化管理的功能和接口的基础结构。

 Cgroups子系统介绍:

子系统:

子系统就是资源控制器，每种子系统就是一个资源的分配器，比如cpu子系统是控制cpu时间分配的。

可以使用lssubsys -a来列出系统支持多少种子系统

使用ls /sys/fs/cgroup/  来显示已经挂载的子系统

• blkio： 这个subsystem可以为块设备设定输入/输出限制，比如物理驱动设备（包括磁盘、固态硬盘、USB等）。
• cpu： 这个subsystem使用调度程序控制task对CPU的使用。
• cpuacct： 这个subsystem自动生成cgroup中task对CPU资源使用情况的报告。
• cpuset： 这个subsystem可以为cgroup中的task分配独立的CPU（此处针对多处理器系统）和内存。
• devices 这个subsystem可以开启或关闭cgroup中task对设备的访问。
• freezer 这个subsystem可以挂起或恢复cgroup中的task。
• memory 这个subsystem可以设定cgroup中task对内存使用量的限定，并且自动生成这些task对内存资源使用情况的报告。
• perfevent 这个subsystem使用后使得cgroup中的task可以进行统一的性能测试。{![perf: Linux CPU性能探测器，详见https://perf.wiki.kernel.org/index.php/MainPage]}
• *net_cls 这个subsystem Docker没有直接使用，它通过使用等级识别符(classid)标记网络数据包，从而允许 Linux 流量.
   

若系统无cgroup,可以使用以下命令安装cgroup服务

[root@server1 ~]# yum search cgroup

[root@server1 ~]# yum install -y libcgroup.x86_64

[root@server1 ~]# yum install -y libcgroup-tools.x86_64

mount -t cgroup 可以用于查询系统中已经mount 的cgroup的文件系统，这里的t表示type

Docker资源限制:

1.针对mem内存的限制

memory.memsw.limit_in_bytes：内存＋swap空间使用的总量限制。
memory.limit_in_bytes：内存使用量限制。

(1)设定资源限制参数：内存<=200M

计算200M内存对应的字节数

换算公式： 1MB=1024KB 1KB=1024Byte

进入目录/sys/fs/cgroup/memory下，创建一个文件夹，就创建了一个control group了

发现x1目录下自动创建了许多文件：（可以发现这些文件与上级目录memory下的文件是一样的，该目录继承了父目录的所有文件）

这些文件的含义如下：

限制内存使用我们就可以设置memory.limit_in_bytes

[root@server1 x1]# cat memory.limit_in_bytes
9223372036854771712        ##内存不做限制时的大小

[root@server1 x1]# echo 209715200 > memory.limit_in_bytes

查看系统内存使用情况：

测试：

<1>100M

[root@server1 x1]# cd /dev/shm/

[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=100

cgexec是直接在某些子系统中的指定控制组运行的程序， memory:x1 是被指定的程序

直接从Mem内存中取走100M

<2>300M

[root@server1 shm]# rm bigfile

[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300

对比前后系统内存可以看出300M分别是从Mem内存中取走的200M和从Swap分区中取走的100M

400M是是从Mem内存中取走的200M和从Swap分区中取走的200M:

(2)设定资源限制参数：内存+交换分区<=200M:

[root@server1 x1]# echo 209715200 > memory.memsw.limit_in_bytes

测试：

<1>100M

没有超过200M。所以可以进行截取。

<2>300M

超过200M，所以被拒绝，进程直接杀死。

 

容器运行时可以指定限制内存的大小：

[root@server1 shm]# docker run --memory 209715200 --memory-swap 209715200 -it --name vm1 ubuntu

 

[root@server1 shm]# cd /sys/fs/cgroup/memory/

[root@server1 memory]# cd docker/

[root@server1 docker]# cd 2cc27992e8b50f41742ee2fdc14c3a7d280e8f95b6c725563ca6b52865e1d6a7/

[root@server1 2cc27992e8b50f41742ee2fdc14c3a7d280e8f95b6c725563ca6b52865e1d6a7]# cat memory.limit_in_bytes
209715200
[root@server1 2cc27992e8b50f41742ee2fdc14c3a7d280e8f95b6c725563ca6b52865e1d6a7]# cat memory.memsw.limit_in_bytes
209715200

 

 

 

 

2.针对cpu的限制

[root@server1 ~]# cd /sys/fs/cgroup/cpu

[root@server1 cpu]# mkdir x1

[root@server1 cpu]# cd x1/

[root@server1 x1]# cat cpu.cfs_period_us
100000                                                                           ## cpu分配的周期（微秒），默认为100000

[root@server1 x1]# cat cpu.cfs_quota_us   该参数表示该control group限制占用的时间（微秒），默认为-1，表示不限制。如果设为50000，表示占用50000/10000=50%的CPU。
-1 

[root@server1 x1]# echo 20000 > cpu.cfs_quota_us

这里将cpu.cfs_quota_us的值设置为20000，即设置占用20%的CPU，。

测试:

[root@server1 x1]# dd if=/dev/zero of=/dev/null &
[1] 1224

可以看出默认占用内存为100%

重新打开一个shell:

[root@server1 ~]# ps ax

[root@server1 ~]# cd /sys/fs/cgroup/cpu/x1/

[root@server1 x1]# cat tasks

[root@server1 x1]# echo 1224 > tasks          ##将dd命令的进程号扔到任务列表中进行控管

此时占用内存为20%：

 

对运行的docker进行cpu控制：

不进行控制时，默认占用量为100%

[root@server1 ~]# docker run -it --name vm1 ubuntu
root@cd862649072d:/# dd if=/dev/zero of=/dev/null

重新打开一个shell查看cpu占用情况

删除该容器：

 

对运行的docker进行cpu控制：

[root@server1 ~]# docker run -it --name vm1 --cpu-quota=20000 ubuntu
root@372990f321c5:/# dd if=/dev/zero of=/dev/null

可以看出，cpu占用量被控制在20%

 

3.针对io的速度限制

 

[root@server1 ~]#  cat /sys/fs/cgroup/blkio/blkio.throttle.read_bps_device     ##默认无io限制

[root@server1 ~]# docker run -it --device-write-bps /dev/sda:30MB ubuntu

[root@server1 ~]# docker run -it --device-write-bps /dev/sda:30MB ubuntu
root@ad238984cc79:/# dd if=/dev/zero of=file bs=1M count=300 oflag=direct   ##oflag=direct表示直连io,不经过系统缓存
300+0 records in
300+0 records out
314572800 bytes (315 MB) copied, 11.406 s, 27.6 MB/s  速度是经过限制后的速度

 

4.进程冻结（进程中止，但依旧存在）

[root@server1 ~]# yum install -y iotop    ##用来监视磁盘I/O使用状况的工具

 先运行一个进程：

[root@server1 ~]# dd if=/dev/zero of=/dev/null &
[1] 1936

[root@server1 ~]# cd /sys/fs/cgroup/freezer/

[root@server1 freezer]# mkdir x1

[root@server1 freezer]# cd x1
[root@server1 x1]# ls
cgroup.clone_children  cgroup.procs             freezer.self_freezing  notify_on_release
cgroup.event_control   freezer.parent_freezing  freezer.state          tasks

[root@server1 x1]# echo 1936 > tasks    ##将该进程扔入任务列表中进行管控
[root@server1 x1]# cat freezer.state       ##默认是解冻状态
THAWED

测试：

• 进程冻结

[root@server1 x1]# echo FROZEN > freezer.state

ps命令查看进程，进程存在：

iotop查看进程，进程不存在，进程冻结:

 

• 进程解冻

[root@server1 x1]# echo THAWED > freezer.state

ps命令查看进程，进程存在:

iotop查看进程，进程存在，进程解冻:

 

 

增强docker容器的隔离性

利用LXCFS提升容器资源可见性:

Linuxs利用Cgroup实现了对容器的资源限制，但在容器内部依然缺省挂载了宿主机上的procfs的/proc目录，其包含如：meminfo, cpuinfo，stat， uptime等资源信息。一些监控工具如free/top或遗留应用还依赖上述文件内容获取资源配置和使用情况。当它们在容器中运行时，就会把宿主机的资源状态读取出来，引起错误和不便。

LXCFS简介

社区中常见的做法是利用 lxcfs来提供容器中的资源可见性。lxcfs 是一个开源的FUSE（用户态文件系统）实现来支持LXC容器，它也可以支持Docker容器。

LXCFS通过用户态文件系统，在容器中提供下列 procfs 的文件。

• /proc/cpuinfo
• /proc/diskstats
• /proc/meminfo
• /proc/stat
• /proc/swaps
• /proc/uptime

比如，把宿主机的 /var/lib/lxcfs/proc/memoinfo 文件挂载到Docker容器的/proc/meminfo位置后。容器中进程读取相应文件内容时，LXCFS的FUSE实现会从容器对应的Cgroup中读取正确的内存限制。从而使得应用获得正确的资源约束设定。

Docker环境下LXCFS使用:

[root@server1 ~]# yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm

[root@server1 ~]# cd /var/lib/lxcfs/

[root@server1 lxcfs]# ls    ##没有文件

[root@server1 lxcfs]# lxcfs /var/lib/lxcfs/ &

 

[root@server1 lxcfs]# cd /var/lib/lxcfs/
[root@server1 lxcfs]# ls
cgroup  proc

[root@server1 ~]# docker run -it --name vm1 -m 200m -v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo \
> -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats \
> -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo \
> -v /var/lib/lxcfs/proc/stat:/proc/stat \
>  -v /var/lib/lxcfs/proc/swaps:/proc/swaps \
> -v /var/lib/lxcfs/proc/uptime:/proc/uptime   ubuntu

我们可以看到total的内存为200MB，配置已经生效。