docker安全
1.docker安全简述
Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:
- Linux内核的命名空间机制提供的容器隔离安全
- Linux控制组机制对容器资源的控制能力安全。
- Linux内核的能力机制所带来的操作权限安全
- Docker程序(特别是服务端)本身的抗攻击性。
- 其他安全增强机制对容器安全性的影响。
命名空间隔离的安全
- 当docker run启动一个容器时,Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
- 与虚拟机方式相比,通过Linux namespace来实现的隔离不是那么彻底。
- 容器只是运行在宿主机上的一种特殊的进程,那么多个容器之间使用的就还是同一个宿主机的操作系统内核。
- 在 Linux 内核中,有很多资源和对象是不能被 Namespace 化的,比如:时间。
控制组资源控制的安全
- 当docker run启动一个容器时,Docker将在后台为容器创建一个独立的控制组策略集合。
- Linux Cgroups提供了很多有用的特性,确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。
- 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器,它在防止拒绝服务攻击(DDoS)方面必不可少。
内核能力机制
- 能力机制(Capability)是Linux内核一个强大的特性,可以提供细粒度的权限访问控制。
- 大部分情况下,容器并不需要“真正的”root权限,容器只需要少数的能力即可。
- 默认情况下,Docker采用“白名单”机制,禁用“必需功能”之外的其他权限。
Docker服务端防护
- 使用Docker容器的核心是Docker服务端,确保只有可信的用户才能访问到Docker服务。
- 将容器的root用户映射到本地主机上的非root用户,减轻容器和主机之间因权限提升而引起的安全问题。
- 允许Docker 服务端在非root权限下运行,利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。
其他安全特性
- 在内核中启用GRSEC和PAX,这将增加更多的编译和运行时的安全检查;并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置。
- 使用一些有增强安全特性的容器模板。
- 用户可以自定义更加严格的访问控制机制来定制安全策略。
- 在文件系统挂载到容器内部时,可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境,特别是一些系统运行状态相关的目录。
二.容器资源控制
Linux Cgroups 的全称是 Linux Control Group。
- 是限制一个进程组能够使用的资源上限,包括 CPU、内存、磁盘、网络带宽等等。
- 对进程进行优先级设置、审计,以及将进程挂起和恢复等操作。
Linux Cgroups 给用户暴露出来的操作接口是文件系统。
- 它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。
- 执行此命令查看:mount -t cgroup
在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录,也叫子系统。
在每个子系统下面,为每个容器创建一个控制组(即创建一个新目录)。
控制组下面的资源文件里填上什么值,就靠用户执行 docker run 时的参数指定。
1.CPU限额
docker run -it --cpu-period=100000 --cpu-quota=20000 ubuntu
cpu_period 和 cpu_quota 这两个参数需要组合使用,用来限制进程在长度为 cpu_period 的一段时间内,只能被分配到总量为 cpu_quota 的 CPU 时间,以上设置表示20%的cpu时间。
查看cpu额度,-1代表最大
[root@server1 x2]# cat cpu.cfs_quota_us
-1
[root@server1 x2]# cat cpu.cfs_period_us
100000
设置cpu时间为总量的20%
[root@server1 x2]# echo 20000 > cpu.cfs_quota_us
[root@server1 x2]# cat cpu.cfs_quota_us
20000
进程加入tasks才能生效
[root@server1 x2]# echo 15566 >> tasks
[root@server1 x2]# top
top - 02:14:46 up 4:25, 2 users, load average: 0.59, 0.51, 0.25
Tasks: 129 total, 2 running, 127 sleeping, 0 stopped, 0 zombie
%Cpu(s): 3.5 us, 6.0 sy, 0.0 ni, 90.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2046936 total, 943044 free, 203432 used, 900460 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 1644944 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15566 root 20 0 107996 620 524 R 19.6 0.0 4:02.22 dd
1 root 20 0 43640 4068 2600 S 0.0 0.2 3:06.08 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:00.02 ksoftirqd/0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
7 root rt 0 0 0 0 S 0.0 0.0 0:00.02 migration/0
8 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcu_bh
9 root 20 0 0 0 0 S 0.0 0.0 0:00.29 rcu_sched
10 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 lru-add-drain
11 root rt 0 0 0 0 S 0.0 0.0 0:00.05 watchdog/0
12 root rt 0 0 0 0 S 0.0 0.0 0:00.03 watchdog/1
13 root rt 0 0 0 0 S 0.0 0.0 0:03.87 migration/1
14 root 20 0 0 0 0 S 0.0 0.0 0:00.01 ksoftirqd/1
16 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/1:0H
18 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kdevtmpfs
19 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 netns
20 root 20 0 0 0 0 S 0.0 0.0 0:00.00 khungtaskd
21 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 writeback
22 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kintegrityd
23 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 bioset
2.内存限制
容器可用内存包括两个部分:物理内存和swap交换分区。
docker run -it --memory 200M --memory-swap=200M ubuntu
–memory设置内存使用限额
–memory-swap设置swap交换分区限额
[root@server1 shm]# cd /sys/fs/
bpf/ cgroup/ pstore/ xfs/
[root@server1 shm]# cd /sys/fs/cgroup/memory/ #查看内存参数
[root@server1 memory]# ls
cgroup.clone_children memory.kmem.tcp.limit_in_bytes memory.oom_control
cgroup.event_control memory.kmem.tcp.max_usage_in_bytes memory.pressure_level
cgroup.procs memory.kmem.tcp.usage_in_bytes memory.soft_limit_in_bytes
cgroup.sane_behavior memory.kmem.usage_in_bytes memory.stat
docker memory.limit_in_bytes memory.swappiness
memory.failcnt memory.max_usage_in_bytes memory.usage_in_bytes
memory.force_empty memory.memsw.failcnt memory.use_hierarchy
memory.kmem.failcnt memory.memsw.limit_in_bytes notify_on_release
memory.kmem.limit_in_bytes memory.memsw.max_usage_in_bytes release_agent
memory.kmem.max_usage_in_bytes memory.memsw.usage_in_bytes system.slice
memory.kmem.slabinfo memory.move_charge_at_immigrate tasks
memory.kmem.tcp.failcnt memory.numa_stat user.slice
[root@server1 memory]# mkdir x1 #创建生成的x1将自动继承系统参数模块
[root@server1 memory]# cd x1/
[root@server1 x1]# ls
cgroup.clone_children memory.kmem.tcp.max_usage_in_bytes memory.oom_control
cgroup.event_control memory.kmem.tcp.usage_in_bytes memory.pressure_level
cgroup.procs memory.kmem.usage_in_bytes memory.soft_limit_in_bytes
memory.failcnt memory.limit_in_bytes memory.stat
memory.force_empty memory.max_usage_in_bytes memory.swappiness
memory.kmem.failcnt memory.memsw.failcnt memory.usage_in_bytes
memory.kmem.limit_in_bytes memory.memsw.limit_in_bytes memory.use_hierarchy
memory.kmem.max_usage_in_bytes memory.memsw.max_usage_in_bytes notify_on_release
memory.kmem.slabinfo memory.memsw.usage_in_bytes tasks
memory.kmem.tcp.failcnt memory.move_charge_at_immigrate
memory.kmem.tcp.limit_in_bytes memory.numa_stat
[root@server1 x1]# cat memory.memsw.limit_in_bytes
9223372036854771712
[root@server1 x1]# vim memory.memsw.limit_in_bytes
[root@server1 x1]# echo 209715200 > memory.limit_in_bytes #设置内存限额 200MB
[root@server1 x1]# echo 209715200 > memory.memsw.limit_in_bytes #必须设置mem+swap=200MB,不然超过限制后会自动转入swap分区
[root@server1 x1]# cat memory.memsw.limit_in_bytes
209715200
[root@server1 x1]# cd
[root@server1 ~]# cd /dev/shm/ #此时环境需要在此目录进行,不然会使用真机配置
[root@server1 shm]# ls
[root@server1 shm]# yum search cgroup
# 测试生成100MB
[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0295154 s, 3.6 GB/s
[root@server1 shm]# free -m
total used free shared buff/cache available
Mem: 1998 189 1163 108 645 1537
Swap: 2047 0 2047
# 测试生成300MB,会被kill
[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero if=/dev/zero of=bigfile bs=1M count=300
Killed
[root@server1 shm]# rm -rf bigfile
[root@server1 shm]# swapoff -a #关闭swap
[root@server1 shm]# free -m
total used free shared buff/cache available
Mem: 1998 188 1265 8 545 1638
Swap: 0 0 0
[root@server1 shm]# swapon -a #开启swap
[root@server1 shm]# free -m
total used free shared buff/cache available
Mem: 1998 189 1264 8 545 1637
Swap: 2047 0 2047
3.Block IO限制
docker run -it --device-write-bps /dev/sda:30MB ubuntu
–device-write-bps限制写设备的bps
目前的block IO限制只对direct IO有效。(不使用文件缓存)
[root@server1 ~]# docker run -it --rm --device-write-bps /dev/vda:30MB rhel7:latest bash
bash-4.2# dd
^C0+0 records in
0+0 records out
0 bytes (0 B) copied, 1.45385 s, 0.0 kB/s
bash-4.2# dd if=/dev/zero of=big bs=1M count=200 oflag=direct # 目前的block IO限制只对direct IO有效。(不使用文件缓存)
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 6.61702 s, 31.7 MB/s
bash-4.2# dd if=/dev/zero of=big bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.293454 s, 715 MB/s
bash-4.2#
三.docker安全加固
1.利用LXCFS增强docker容器隔离性和资源可见性
安装插件并运行
yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm
lxcfs /var/lib/lxcfs &
创建容器,内存限制为256MB
[root@server1 lxcfs]# docker run -it -m 256m \
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu
root@5cefb21a8ba5:/# free -m
total used free shared buff/cache available
Mem: 256 0 255 8 0 255
Swap: 256 0 256
root@5cefb21a8ba5:/#
2.设置特权级运行的容器:–privileged=true
有的时候我们需要容器具备更多的权限,比如操作内核模块,控制swap交换分区,挂载USB磁盘,修改MAC地址等。
修改mac地址哦
[root@server1 lxcfs]# docker run -it --privileged=true doc2run/busyboxplus:latest
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
17: eth0@if18: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
/ # ip link set eth0 address de:57:00:00:00:00
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
17: eth0@if18: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether de:57:00:00:00:00 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
/ #
3.设置容器白名单:–cap-add
–privileged=true 的权限非常大,接近于宿主机的权限,为了防止用户的滥用,需要增加限制,只提供给容器必须的权限。此时Docker 提供了权限白名单的机制,使用–cap-add添加必要的权限。
添加网络权限
[root@server1 lxcfs]# docker run -it --cap-add=NET_ADMIN --name vm2 doc2run/busyboxplus:latest
/ # ip addr add 172.25.3.100/24 dev eth0
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
21: eth0@if22: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
inet 172.25.3.100/24 scope global eth0
valid_lft forever preferred_lft forever
/ # fdisk -l #磁盘权限被拒绝
/bin/sh: fdisk: not found
/ # exit
[root@server1 lxcfs]# docker run -it --cap-add=NET_ADMIN --name vm2 doc2run/busyboxplus:latest
/ # exit
[root@server1 lxcfs]# docker inspect -f {{.HostConfig.Privileged}} vm2 #无指定查询米块
false
[root@server1 lxcfs]# docker inspect -f {{.HostConfig.CapAdd}} vm2 #网络模块查询存在
[NET_ADMIN]
[root@server1 lxcfs]#
四.安全加固思路
保证镜像的安全
使用安全的基础镜像
删除镜像中的setuid和setgid权限
启用Docker的内容信任
最小安装原则
对镜像进行安全漏洞扫描,镜像安全扫描器:Clair
容器使用非root用户运行
保证容器的安全
对docker宿主机进行安全加固
限制容器之间的网络流量
配置Docker守护程序的TLS身份验证
启用用户命名空间支持(userns-remap)
限制容器的内存使用量
适当设置容器CPU优先级
docker安全的遗留问题
主要的内核子系统都没有命名空间,如:
SELinux
cgroup
在/sys下的文件系统
/proc/sys, /proc/sysrq-trigger, /proc/irq, /proc/bus
设备没有命名空间:
/dev/mem
/dev/sd*文件系统设备
内核模块
如果你能沟通或攻击的其中之一作为特权的过程中,你可以拥有自己的系统。