Jenkins基于https的k8s配置

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lusyoe/article/details/80209638

前言

之前写过一篇《基于K8s的动态Jenkins Slave构建实践》,当时用的k8s版本较低,最近将k8s版本升级1.10最新的了,并且启用了https和角色管理。突然就发现之前的jenkins配置有点问题了。
这篇主要就是来记录一下新的配置。

环境

Jenkins 2.107.2
Kubernetes plugin 1.6
kubernetes集群 1.10.0

k8s集群信息

root@e5:/data# kubectl cluster-info 
Kubernetes master is running at https://192.168.1.2:6443
kubernetes-dashboard is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
monitoring-grafana is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy

根据以上的配置,可以看到,已经是启用https了,这里就涉及到了密钥的问题。

Jenkins配置

jenkins

这里有以下几个关键的配置:

  • Kubernetes URL:这个就是我们上面集群信息看到的kubernetes master is running at 地址
  • Kubernetes server certificate key:这是需要https证书,可以在我们集群任意节点找到该文件/etc/kubernetes/ssl/ca.pem/etc/kubernetes/pki/ca.pem,这个看自己的安装部署配置吧;
  • Credentials:这个是k8s集群的角色权限配置,这个就比较麻烦点了,下面再细说。

k8s角色权限配置

上面说到了Credentials这个配置,如果我们不配置的话,默认连接就会报以下错误,提示没有权限:
k8s_role

安装证书工具

这个应该是在部署安装集群的时候就有的,这里再多啰嗦2句:

安装cfssl
此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

创建admin证书

准备证书签名请求

admin-csr.json

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "XS",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

证书请求中的O 指定该证书的 Group 为 system:masters,而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定,这就赋予了该证书具有所有集群权限

创建证书和私钥

cfssl gencert \
-ca=/etc/kubernetes/ssl/ca.pem \
-ca-key=/etc/kubernetes/ssl/ca-key.pem \
-config=/etc/kubernetes/ssl/ca-config.json \
--profile=kubernetes admin-csr.json | cfssljson -bare admin

最终生成以下3个文件:

  • admin.csr
  • admin-key.pem
  • admin.pem

配置证书

生成pkc格式证书

我们可以通过openssl来转换成pkc格式:
openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret

配置jenkins认证

得到jenkins-admin.pfk文件后,点击Jenkins配置Credentials后面的Add,配置如下:
jenkins_pfk
其中Kind种类需要选择Certificate,然后选择上传文件,上传我们刚刚生成的pfk文件,下面的密码填写为secret,也就是上面我们pass:后面的内容,最后ID和描述可以随便填下,就OK啦。

测试

之后在Jenkins的kubernetes配置那边选择我们刚刚创建的Credentials,点击Test Connection即可。
出现以下字符就表示测试连接通过啦
conn_test

再测试下动态Slave:
dynamic_slave
如图,就表示已经OK了。

通过kubeconfig认证

有时候会出现一种情况,只有kubeconfig文件,无法直接ssh登陆服务器。这个时候我们也可以通过config文件来进行认证配置。
点击Credentials 右边的Add,选择secretFile,贴上config文件即可。
测试如下:
config

参考链接:
https://github.com/jenkinsci/kubernetes-plugin
https://segmentfault.com/a/1190000012151075
https://github.com/gjmzj/kubeasz/blob/master/docs/01-%E5%88%9B%E5%BB%BACA%E8%AF%81%E4%B9%A6%E5%92%8C%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.md

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页