Jenkins for Kubernetes实现Slave动态伸缩

最新推荐文章于 2023-11-29 00:21:19 发布

程序员苟哥

最新推荐文章于 2023-11-29 00:21:19 发布

阅读量249

点赞数

分类专栏：技术 Java技术文章标签： kubernetes jenkins java 后端开发语言

本文链接：https://blog.csdn.net/yyyy_11119/article/details/122305429

版权

本文详细介绍了如何在Kubernetes环境中部署Jenkins以实现Slave节点的动态伸缩，包括Jenkins Master的高可用性、挂载工作区和Maven缓存目录以提高构建速度，以及配置和测试流程。通过使用NFS作为持久化存储，确保数据的安全。此外，还讨论了可能遇到的排错方法。

摘要由CSDN通过智能技术生成

本文章案例可用于参考Jenkins for Kubernetes部署。因每个公司的架构和环境不一样，需要改变一些部署的方式。

Jenkins for Kubernetes的好处：

Jenkins-Master的高可用。Kubernetes的RC或Deployment可以监控副本的存活状态（通过探针）和副本数量，如果Master出现无法提供服务的情况，就会重启或者迁移到其他节点。
Jenkins-Slave的动态伸缩。每次构建都会启动一个Pod用于部署Slave，构建完成后就会释放掉。那么Pod在创建的时候，Kubernetes就会选择集群内资源剩余较多的节点创建Slave的Pod，构建完成后Pod会自动删除。
扩展性好。因为可以同时拥有很多个Slave，可以配置Jenkins同时执行很多构建操作，减少排队等待构建的时间。

部署思路

首先在Kubernetes中部署Jenkins-Master然后使用Kubernetes Plugin插件进行Slave的动态伸缩。并且使用NFS作为后端存储的PersistentVolume来挂载Jenkins-Master的jenkins_home目录、构建时Slave的Maven缓存m2目录（可以利用缓存加快每次构建的速度）、保留Slave每次构建产生的数据（workspace目录中的每个Job）。

使用PersistentVolume的原因是Kubernetes任何节点都可以访问到挂载的目录，不会因为Master迁移节点导致数据丢失。NFS方便部署而且性能也满足Jenkins的使用需求所以选择了NFS，也可以使用其他的后端存储。

部署

部署方式可以自定义也可以使用Kubernetes Pugin官网提供的部署yml。自定义使用Deployment也是可以的，但是官网的部署方式使用了StatefulSet。Jenkins是一个有状态的应用，我感觉使用StatefulSet部署更加严谨一点。我这里使用了官网提供的文档进行部署的，但是也根据实际情况修改了一些东西。

首先需要在Kubernetes所有节点部署NFS客户端：

yum -y install nfs-utils

systemctl start nfs-utils

systemctl enable nfs-utils

rpcinfo -p

NFS服务端配置文件增加配置：

/data/dev_jenkins       10.0.0.0/24(rw,sync,no_root_squash,no_subtree_check)

dev环境Jenkins Slave节点挂载workspace

/data/dev_jenkins/workspace  0.0.0.0/0(rw,sync,no_root_squash,no_subtree_check)

dev环境Jenkins Slave节点挂载m2 Maven缓存目录

/data/dev_jenkins/m2 0.0.0.0/0(rw,sync,no_root_squash,no_subtree_check)

共享目录一定要给777权限。不然容器内部会报错没有写入权限。

service-account.yml此文件用于创建Kubernetes的RBAC，授权给后面的Jenkins应用可以创建和删除Slave的Pod。

# In GKE need to get RBAC permissions first with

# kubectl create clusterrolebinding cluster-admin-binding --clusterrole=cluster-admin [--user=<user-name>|--group=<group-name>]



---

apiVersion: v1

kind: ServiceAccount

metadata:

name: jenkins



---

kind: Role

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

name: jenkins

rules:

- apiGroups: [""]

resources: ["pods"]

verbs: ["create","delete","get","list","patch","update","watch"]

- apiGroups: [""]

resources: ["pods/exec"]

verbs: ["create","delete","get","list","patch","update","watch"]

- apiGroups: [""]

resources: ["pods/log"]

verbs: ["get","list","watch"]

- apiGroups: [""]

resources: ["events"]

verbs: ["watch"]

- apiGroups: [""]

resources: ["secrets"]

verbs: ["get"]



---

apiVersion: rbac.authorization.k8s.io/v1beta1

kind: RoleBinding

metadata:

name: jenkins             #与jenkins.yml中的serviceAccountName: jenkins相对应

roleRef:

apiGroup: rbac.authorization.k8s.io

kind: Role

name: jenkins

subjects:

- kind: ServiceAccount

name: jenkins

jenkins-pv.yml和jenkins-pvc.yml用于创建挂载jenkins_home目录：

[root@dev-master1 kubernetes]# cat jenkins-pv.yml 

apiVersion: v1

kind: PersistentVolume

metadata:

name: jenkins-home

spec:

capacity:  #指定容量

storage: 20Gi

accessModes:

- ReadWriteOnce  #访问模式，还有ReadOnlyMany ##ReadOnlymany

#  persistenVolumeReclaimPolicy: Recycle

#  storageClassName: nfs  ##指定存储的类型

nfs:

path: /data/dev_jenkins  #指明NFS的路径

server: 10.0.0.250  #指明