Docker安全管理（TLS加密通讯）

一.Docker容器与虚拟机的区别

隔离与共享

虚拟机通过添加Hypervisor层，虚拟出网卡、内存、CPU等虚拟硬件，再在其上建立虚拟机，每个虚拟机都有自己的系统内核。而docker容器则是通过隔离的方式，将文件系统、进程、设备、网络等资源进行隔离，再对权限、CPU资源等进行控制，最终让容器之间互不影响，容器无法影响宿主机。容器与宿主机共享内核、文件系统、硬件等资源。

性能与损耗

与虚拟机相比，容器资源损耗要少。同样的宿主机下，能够建立容器的数量要比虚拟机多。但是，虚拟机的安全性要比容器稍好，要从虚拟机攻破到宿主机或其他虚拟机，需要先攻破Hypervisor层，这是极其困难的。而docker容器与宿主机共享内核、文件系统等资源，更有可能对其他容器、宿主机产生影响。

二.Docker存在的安全问题

1.Docker自身漏洞

作为一款应用Docker本身实现上会有代码缺陷。CVE官方记录Docker历史版本共有超过20项漏洞。黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前Docker版本更迭非常块，Docker用户最好将Docker升级为最新版本。

2.Docker源码问题

Docker提供了Docker hub，可以让用户上传创建的镜像，以便其他用户下载，快速搭建环境。但同时也带来了一些安全问题。例如下面三种方式：

• 黑客上传恶意镜像，如果有黑客再制作的镜像中植入木马、后门等恶意软件，那么环境从一开始就已经不安全了，后续更没有什么安全可言。
• 镜像使用有漏洞的软件Docker Hub上能下载的镜像里面，75%的镜像都安装了有漏洞的软件。所以下载镜像后，需要检查里面软件的版本信息，对应的版本是否存在漏洞，并及时更新打上补丁。
• 中间人攻击篡改镜像，镜像再传输过程中可能被篡改，目前新版本的Docker已经提供了相应的校验机制来预防这个问题。

3.Docker架构缺陷与安全机制

Docker本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击。

• 容器之间的局域网攻击

主机上的容器之间可以构成局域网，因此针对局域网的ARP欺骗、嗅探、广播风暴等攻击方式便可以用上。所以在一个主机上部署多个容器需要合理的配置网络，设置iptable规则。

• DDos攻击耗尽资源

Cgroups安全机制就是要防止此类攻击的，不要为单一的容器分配过多的资源即可避免此类问题。

• 有漏洞的系统调用

Docker与虚拟机的一个重要的区别就是Docker与宿主机共用一个操作系统内核。一旦宿主内核存在可以越权或者提权漏洞，尽管Docker使用普通用户执行，在容器被入侵时，攻击者还可以利用内核漏洞跳到宿主机做更多的事情。

• 共享root用户权限

如果以root用户权限运行容器，容器内的root用户也就拥有了宿主机的root权限。

4.Docker安全基线标准

• 下面从内核、主机、网络、镜像、容器以及其它等 6 个方 面总结 Docker 安全基线标准。

内核级别

（1）及时更新内核。
（2）User NameSpace（容器内的 root 权限在容器之外处于非高权限状态）。
（3）Cgroups（对资源的配额和度量）。
（4）SELiux/AppArmor/GRSEC（控制文件访问权限）。
（5）Capability（权限划分）。
（6）Seccomp（限定系统调用）。
（7）禁止将容器的命名空间与宿主机进程命名空间共享。

主机级别

（1）为容器创建独立分区。
（2）仅运行必要的服务。
（3）禁止将宿主机上敏感目录映射到容器。
（4）对 Docker 守护进程、相关文件和目录进行审计。
（5）设置适当的默认文件描述符数。

• （文件描述符：内核（kernel）利用文件描述符（file descriptor）来访问文件。文件描述符是非负整数。
• 打开现存文件或新建文件时，内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件）

（6）用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。
（7）周期性检查每个主机的容器清单，并清理不必要的容器

网络级别

（1）通过 iptables 设定规则实现禁止或允许容器之间网络流量。
（2）允许 Docker 修改 iptables。
（3）禁止将 Docker 绑定到其他 IP/Port 或者 Unix Socket。
（4）禁止在容器上映射特权端口。
（5）容器上只开放所需要的端口。
（6）禁止在容器上使用主机网络模式。
（7）若宿主机有多个网卡，将容器进入流量绑定到特定的主机网卡上。

镜像级别

（1）创建本地镜像仓库服务器。
（2）镜像中软件都为最新版本。
（3）使用可信镜像文件，并通过安全通道下载。
（4）重新构建镜像而非对容器和镜像打补丁。
（5）合理管理镜像标签，及时移除不再使用的镜像。
（6）使用镜像扫描。
（7）使用镜像签名。

容器级别

（1）容器最小化，操作系统镜像最小集。
（2）容器以单一主进程的方式运行。
（3）禁止 privileged 标记使用特权容器。
（4）禁止在容器上运行 ssh 服务。
（5）以只读的方式挂载容器的根目录系统。
（6）明确定义属于容器的数据盘符。
（7）通过设置 on-failure 限制容器尝试重启的次数，容器反复重启容易丢失数据。
（8）限制在容器中可用的进程树，以防止 fork bomb。（fork炸弹，迅速增长子进程，耗尽系统进程数量）

其他设置

（1）定期对宿主机系统及容器进行安全审计。
（2）使用最少资源和最低权限运行容器。
（3）避免在同一宿主机上部署大量容器，维持在一个能够管理的数量。
（4）监控 Docker 容器的使用，性能以及其他各项指标。
（5）增加实时威胁检测和事件响应功能。
（6）使用中心和远程日志收集服务

三.Docker remote api访问控制

如果仅在容器中运行必要的服务，像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。

[root@localhost ~]# docker exec -it 18dc8a0df006 bash
root@18dc8a0df006:/#

Docker的远程调用 API 接口存在未授权访问漏洞，至少应限制外网访问。建议使用 Socket 方式访问。监听内网 ip，docker daemon 启动方式如下。

准备两台虚拟机

• docker 1 IP为192.168.100.128
• docker 2 IP为192.168.100.130
• 目的：在docker 2服务器上连接docker 1服务的镜像/容器状态

配置docker 1 服务器

#关闭核心防护
[root@docker1 ~]# setenforce 0

#查看服务状态
[root@docker1 ~]# netstat -natp | grep docker
[root@docker1 ~]# 
#可见，docker未对外提供访问的端口，无法访问

//开启访问
vi /usr/lib/systemd/system/docker.service
[root@docker1 ~]# vim /usr/lib/systemd/system/docker.service 
#14行注销，14行准启动中地址指向的是本地的通讯文件目录
#15行插入以下内容，对外提供2375端口
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.226.133:2375
#以上配置项中，通讯文件使用的是unix的
#-H 指定监听地址为本地IP且对外提供的端口为2375

//重新加载参数，重启docker
[root@docker1 ~]# systemctl daemon-reload
[root@docker1 ~]# systemctl restart docker
[root@docker1 ~]# netstat -antp | grep docker
tcp        0      0 192.168.100.128:2375    0.0.0.0:*               LISTEN      4187/dockerd        


docker 2 使用Tcp通讯方式访问docker 1
Docker 1需要关闭防火墙或者清空防火墙规则Docker 2才可以以Tcp通讯方式进行访问查询
#Dokcer 2 清空防火墙规则
iptbales -F 

#Docker 1 远程查看Docker 2镜像列表
[root@docker2 ~]# docker -H tcp://192.168.100.128:2375 pull tomcat

//在docker 1上查看
[root@docker1 ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
tomcat              latest              e0bd8b34b4ea        2 weeks ago         649MB

同时，在宿主机的 firewalld 上做 IP 访问控制即可。（source address 是客户端地址）

firewall-cmd --permanent --add-rich-rule="rule family=“ipv4” source address=“192.168.100.130” port protocol=“tcp” port=“2375” accept"

firewall-cmd --reload

四.限制流量流向

• 当创建容器之后，会在防火墙中创建规则，允许外部进行访问，但是防火墙默认是没有做内部主动访问外部的规则，所以需要主动设置规则保证安全
• 使用防火墙过滤器限制Docker 容器的源IP地址范围和外界通讯

firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.100.130/24" reject"

参数详解

–permanent ：永久生效

–zone=public ：公共区域

–add-rich-rule：定义副语言规则

rule family=“ipv4”：版本为ipv4

source address="192.168.100.130/24 ：目标源地址为本地IP 24网段

reject ：拒绝

安全问题

大量问题是因为Docker容器端口外放引起的漏洞，除了操作系统账户权限控制上的问题，更在于对Docker Daemon的进程管理上存在隐患。目前常用的Docker版本都支持Docker Daemon管理宿主iptables的，而且一旦启动进程加上-p host_port:guest_port的端口映射，Docker Daemon会直接增加对应的FORWARD Chain并且-j ACCEPT，而默认的DROP规则是在INPUT链做的，对docker没法限制，这就留下了很严重的安全隐患了。

建议

• 不在有外网ip的机器上使用Docker服务
• 使用k8s等docker编排系统管理Docker容器
• 宿主上Docker daemon启动命令加一个–iptables=false，然后把常用iptables写进文件里，再用iptables-restore去刷。

五.镜像安全

• Docker 镜像安全扫描，在镜像仓库客户端使用证书认证，对下载的镜像进行检查。
• 通过与 CVE 数据库同步扫描镜像，一旦发现漏洞则通知用户处理，或者直接阻止镜像继续构建。
• 如果公司使用的是自己的镜像源，可以跳过此步；否则，至少需要验证 baseimage 的 md5 等特征值，确认一致后再基于 baseimage 进一步构建。
• 一般情况下，要确保只从受信任的库中获取镜像，并且不建议使用–insecure-registry=[] 参数，推荐使用harbor私有仓库。

六.Docker-TLS加密通讯

1.TLS简介

• TLS（Transport Layer Security，安全传输层)，TLS是建立在传输层TCP协议之上的协议，服务于应用层，它的前身是SSL（Secure Socket Layer，安全套接字层），它实现了将应用层的报文进行加密后再交由TCP进行传输的功能。
• 为了防止链路劫持、会话劫持等问题导致Docker通讯时被中间人攻击，c/s 两端应该通过加密方式通讯

CA认证

证书颁发机构（CA, Certificate Authority）即颁发数字证书的机构。是负责发放和管理数字证书的权威机构，并作为电子商务交易中受信任的第三方，承担公钥体系中公钥的合法性检验的责任。

CA 证书颁发的时候，证书中是包含密钥对的，同时用户信息也是进行加密的，所以CA颁发的证书具有两个特点：

① 用户发送的信息都是加密的

② 身份的唯一性

2.TLS配置详解

• 规划

Docker 1服务器：master

Docker 2服务器：client

• 修改主机名和映射文件并创建tls目录

[root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# su
[root@master ~]# vi /etc/hosts
127.0.0.1 master

[root@master ~]# mkdir /tls

• 创建ca密钥

[root@master tls]# openssl genrsa -aes256 -out ca-key.pem 4096
Generating RSA private key, 4096 bit long modulus
.........................................++
..............++
e is 65537 (0x10001)
Enter pass phrase for ca-key.pem:
Verifying - Enter pass phrase for ca-key.pem:

[root@master tls]# ll
总用量 4
-rw-r--r--. 1 root root 3326 12月  3 18:49 ca-key.pem

详解参数
openssl：开放源代码的软件库包，应用程序可以使用这个包来进行安全通信，避免窃听
genrsa：rsa非对称密钥
-aes256：指定密钥长度位256位
-out ca.key.pem：创建ca-key.pem密钥文件

• 创建ca证书

[root@master tls]# openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
Enter pass phrase for ca-key.pem:
[root@master tls]# ls
ca-key.pem  ca.pem

详解参数
req -new：请求创建新的证书
-x509：证书的一个参数
-days：证书周期1000天
-key：指定密钥文件
-sha256：哈希验证
-subj "/CN=*"：指定项目名称
-out ca.pem：产生出ca证书

上面完成后，下面创建自己“master”服务器的证书和“client”客户端的证书

• 创建服务端证书

创建私钥

[root@localhost ~]# openssl genrsa -out server-key.pem 4096
Generating RSA private key, 4096 bit long modulus
.........++
...............................................++
e is 65537 (0x10001)

签名私钥

[root@localhost ~]# openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
[root@localhost ~]# ls
ca-key.pem  ca.pem  server.csr  server-key.pem
使用server-key.pem密钥文件进行签名，生成签名文件
server.csr签名文件

使用ca证书与私钥证书签名，密码输入，生成服务端509证书

[root@master tls]# openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
Signature ok
subject=/CN=*
Getting CA Private Key
Enter pass phrase for ca-key.pem:

详解参数
openssl x509：使用openssl方式生成509证书
-req：请求
-days 1000：有效期天数
-sha256：哈希值验证
-in server.csr：导入签名文件
-CA ca.pem：加入CA官方授权的证书
-CAkey ca-key.pem：加入CA官方的密钥
-CAcreateserial -out server-cert.pem：创建服务端的证书

• 创建客户端证书

客户端的证书也是要由服务器进行申请

创建密钥

[root@master tls]# openssl genrsa -out key.pem 4096
Generating RSA private key, 4096 bit long modulus
.................................................................................................................................++
......................++
e is 65537 (0x10001)
[root@master tls]# ls
ca-key.pem  ca.pem  ca.srl  key.pem  server-cert.pem  server.csr  server-key.pem

使用密钥进行签名

[root@master tls]# openssl req -subj "/CN=client" -new -key key.pem -out client.csr
[root@master tls]# ls
ca-key.pem  ca.pem  ca.srl  client.csr  key.pem  server-cert.pem  server.csr  server-key.pem

• 创建配置文件

区分服务端和客户端

[root@master tls]# echo extendedKeyUsage=clientAuth > extfile.cnf
[root@master tls]# ls
ca-key.pem  ca.srl      extfile.cnf  server-cert.pem  server-key.pem
ca.pem      client.csr  key.pem      server.csr

• 签名证书

[root@master tls]# openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:
[root@master tls]# ls
ca-key.pem  ca.srl    client.csr   key.pem          server.csr
ca.pem      cert.pem  extfile.cnf  server-cert.pem  server-key.pem

• 删除多余文件

[root@master tls]# rm -rf ca.srl client.csr extfile.cnf server.csr 
[root@master tls]# ls
ca-key.pem  ca.pem  cert.pem  key.pem  server-cert.pem  server-key.pem

• 配置Docker server文件

[root@master tls]# vim /usr/lib/systemd/system/docker.service 
#注释14行默认的准启动内容
#在15行添加准启动内容
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock
#--tls 加密通讯。指定/tls目录下的证书。指定使用tcp访问方式，对外开启端口2376（使用unix通讯文件）

重启
[root@master tls]# systemctl daemon-reload 
[root@master tls]# systemctl restart docker

• 将/tls中的文件ca.pem、cert.pem、key.pem推送到客户端/etc/docker目录下

[root@master tls]# scp ca.pem root@192.168.100.130:/etc/docker
The authenticity of host '192.168.100.130 (192.168.100.130)' can't be established.
ECDSA key fingerprint is SHA256:GTv/sSlSbwLUWCLxYd1CU4Qhb6oI0m3rVZvI0AewR10.
ECDSA key fingerprint is MD5:f5:2a:a6:50:25:a3:b0:37:12:ea:10:1b:74:11:17:cc.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.100.130' (ECDSA) to the list of known hosts.
root@192.168.100.130's password: 
ca.pem                                                       100% 1765     1.0MB/s   00:00    
[root@master tls]# scp cert.pem root@192.168.100.130:/etc/docker
root@192.168.100.130's password: 
cert.pem                                                     100% 1696     1.3MB/s   00:00    
[root@master tls]# scp key.pem root@192.168.100.130:/etc/docker
root@192.168.100.130's password: 
key.pem                                                      100% 3247     2.0MB/s   00:00 

3.验证

关闭核心防护并清理防火墙规则

服务端
iptables -F
setenforce 0
客户端
setenforce 0

服务器下载nginx

[root@master tls]# docker pull nginx
[root@master tls]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
nginx               latest              bc9a0695f571        8 days ago          133MB

master服务器验证

[root@master tls]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
nginx               latest              bc9a0695f571        8 days ago          133MB

详解参数
–tlsverify ：TLS 证书
–tlscacert=ca.pem：CA官方颁发的ca证书
–tlscert=cert.pem：客户端证书
–tlskey=key.pem：客户端密钥证书
-H tcp://master:2376 images：使用tcp 通讯方式查询镜像列表

客户端认证

当前路径中的文件必须包含ca.pam证书，否则会报错

vi /etc/hosts
192.168.100.130 master

[root@client docker]# docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 images
 
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
tomcat              latest              927899a31456        32 hours ago        647MB

七.检查docker模板

• 2016 年的 8 月 Github 上大量泄露个人或企业各种账号密码，出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。如果这些文件中存在账号密码等认证信息， 一旦 Docker 容器对外开放，则这些宿主机上的敏感信息也会随之泄露。

可以通过以下方式检查容器创建模板的内容

# check created users 
grep authorized_keys $dockerfile 
# check OS users 
grep "etc/group" $dockerfile 
# Check sudo users 
grep "etc/sudoers.d" $dockerfile 
# Check ssh key pair 
grep ".ssh/.*id_rsa" $dockerfile 
# Add your checks in below