基本概念
KMS,Key Management Service,即密钥管理服务,在K8S集群中,以驱动和插件的形式启用对Secret,Configmap进行加密。以保护敏感数据,
驱动和插件需要使用者按照需求进行定制和实现自己的KMS插件,插件可以是gRPC服务器或者启用一个云服务商提供的KMS插件。
本文中演示使用的KMS 服务是京东云舰中的KMS加密服务。
目前KMS分为V1,V2,本文基于V1进行演示。
架构
内部可以利用kms加密实现自己的加密算法,甚至国密算法。
当用户新建secret资源时,kube-apiserver 会通过gRPC调用kms-plugin,而kms-plugin与加密服务器通信,进行数据加密。
此时如果通过直接获取etcd中的原始数据,内容为密文数据。
当用户获取secret资源内容时,kube-apiserver 会通过gRPC调用kms-plugin,而kms-plugin与加密服务器通信,进行数据解密,将明文展示给用户。
操作步骤
需要一套已经运行的Kubernetes集群服务,如果是多台master节点,需要同时配置。
新建目录
/etc/kubernetes/kms/jdcloud
新建 EncryptionConfiguration
该配置是kms基本的加密配置,包括加密资源对象,socket地址等等。
以上内容保存在/etc/kubernetes/kms/jdcloud/apiserver-encryption.conf
新建 jdcloud kms plugin 配置
kms server的上联信息配置
以上内容保存在/etc/kubernetes/kms/jdcloud/jdcloud-kms-plugin.json
新建 jdcloud kms plugin 服务
该服务是启动socket服务,并按照配置和上联的kms server进行通信,加密和解密数据,并通过socket服务和K8S APIServer交互。
该pod需要在kube-apiserver启动之前启动,否则与apiserver可能产生循环依赖。
以上内容保存在/etc/kubernetes/manifests/jdcloud-kms-plugin.yaml
修改 kube apiserver配置
修改后保存
验证
在默认的命名空间里创建一个名为 secret1 的 Secret:
用 etcdctl 命令行,从 etcd 读取出 Secret:
结果为加密数据
验证 Secret 在被 API server 获取时已被正确解密:
该结果为明文,mykey: mydata
产品能力
在K8S集群中,京东内部一直比较重视对敏感数据加密,特别是云舰面对越来越多的金融行业客户,加密服务基本是云舰中的标准配置。
经过产品能力打磨和内部实现,KMS 加密服务和K8S自动化集群以及一键配置创建都在云舰内实现了很好的产品化能力,可以随集群创建,一键启用KMS加密服务。