dockers-Cgroup资源分配配置与安全

一、cgroup的介绍：

Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘IO等等)的机制，被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具体的资源管理功能。这些具体的资源管理功能称为Cgroup子系统，有以下几大子系统实现:

• blkio:设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
• CPU:使用调度程序为cgroup任务提供CPU的访问。
• cpuacct:产生cgroup任务的CPU资源报告。
• cpuset:如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU和内存。
• devices:允许或拒绝cgroup任务对设备的访问。
• freezer:暂停和恢复cgroup任务。
• memory:设置每个cgroup的内存限制以及产生内存资源报告。
• net_cls:标记每个网络包以供cgroup方便使用。
• ns:命名空间子系统。（按照逻辑管理分配）
• perf_event:增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。超出设定的限制会报错！！！

1、实验环境准备：

mkdir /opt/stress
vim /opt/stress/Dockerfile
FROM centos:7
MAINTAINER ZK "ZK@kgc.com"
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
Cd /opt/stress
docker build -t centos:stress .

2、实验项目之CPU管理：

实验项目1：
1、CPU份额的控制：cpu分配的权重比例不同：1：2
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
docker exec -it f135cf852686 bash
Top
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
docker exec ba0805ba6812 bash
Top

2、CPU周期限制：
CPU-period:用来指定容器对CPU的使用要在多长时间做一次重新分配。
CPU-quota:在指定的周期内，最多有多长时间来跑这个容器。
docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
docker exec -it 4310d6e2cebc bash
Cat /sys/fs/cgroup/cpu/cpu.cfs_period_us            100000
Cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us            200000

3、CPU核心数的控制：
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
docker exec -it 07a163e19cfd bash
cat /sys/fs/cgroup/cpuset/cpuset.cpus     0-1
docker exec 07a163e19cfd taskset -c -p 1
docker exec -it 07a163e19cfd bash
Stress -c 10                                      在容器里面跑10个进程
Top

3、实验项目之内存管理：

1、内存限额：物理内存和swap，
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M报错
-m:内存
-memory-swap：内存+swap配额
创建的项目不能超出memory-swap

4、实验项目之读写带宽控制

docker run -itd --name containter_A --blkio-weight 600 centos:stress
Docker ps -a
docker exec -it 95a3f75769b2 bash
  cat /sys/fs/cgroup/blkio/blkio.weight
docker run -itd --name containter_B --blkio-weight 300 centos:stress
  docker exec -it 95a3f75769b2 bash
cat /sys/fs/cgroup/blkio/blkio.weight

5、实验项目之读写速度控制：

docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct   慢
docker run -it centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct  快

二、Docker-TLS加密通讯：

• 为了防止链路劫持、会话劫持等问题导致的Docker通中被中间人攻击，c/s两端通过加密的方式通讯。
• 加密算法：
  1：对称 DES 3DES AES 长度不同长度越长安全越高，解密速度越慢
  2：非对称 RSA 公钥，私钥 公钥:所有人可知(锁) 私钥（钥匙）个人身份信息，不可抵赖。
  3：证书:个人信息，密钥，有效期
  4：ca: 证书颁发机构ca证书
  密钥key—》身份签名csr—》（服务器/客户端）(结合ca.pem）制作证书pem
  证书pem发送给客户端，客户端验证就使用证书验证
• 代码实现：

openssl genrsa -aes256 -out ca-key.pem 4096
openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
openssl genrsa -out server-key.pem 4096
openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
openssl req -subj "/CN=client" -new -key key.pem -out client.csr
echo extendedKeyUsage=clientAuth > extfile.cnf
openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
rm -rf ca.srl client.csr extfile.cnf server.csr

ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock
systemctl daemon-reload 
systemctl restart docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version

scp ca.pem root@14.0.0.11:/etc/docker
scp cert.pem root@14.0.0.11:/etc/docker
scp key.pem root@14.0.0.11:/etc/docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version