基于Jenkins + Kubernetes实践

概述

本文将介绍两个令人惊奇和相当有趣的技术实践。一个是Jenkins，一个流行的持续集成/发布的工具，另一个是Kubernetes，一个流行的容器编排引擎。
文章主要分为两部分：在kubernetes集群中部署jenkins集群；利用jenkins的kubernetes plugin实现对jenkins slave的动态管理

架构如下

部署jenkins

创建jenkins-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins
  namespace: kube-ops

---

kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: jenkins
  namespace: kube-ops
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: jenkins
  namespace: kube-ops
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins
    namespace: kube-ops

创建jenkins-deployment.yaml

---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins
  namespace: kube-ops
spec:
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10
      serviceAccountName: jenkins
      containers:
      - name: jenkins
        image: jenkins/jenkins:lts
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        - containerPort: 50000
          name: agent
          protocol: TCP
        resources:
          limits:
            cpu: 2000m
            memory: 4Gi
          requests:
            cpu: 1000m
            memory: 2Gi
        livenessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 5
          failureThreshold: 12
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 5
          failureThreshold: 12
        volumeMounts:
        - name: jenkinshome
          subPath: jenkins
          mountPath: /var/jenkins_home
        env:
        - name: LIMITS_MEMORY
          valueFrom:
            resourceFieldRef:
              resource: limits.memory
              divisor: 1Mi
        - name: JAVA_OPTS
          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai
      securityContext:
        fsGroup: 1000
      volumes:
      - name: jenkinshome
        emptyDir: {}

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace: kube-ops
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  type: NodePort
  ports:
  - name: web
    port: 8080
    targetPort: web
  - name: agent
    port: 50000
    targetPort: agent

由于临时测试所以上述deployment.yaml中volume我采用的是empyDir。我们也可以使用PVC、Hostpath来实现持久化。

创建namespace

kubectl create namespace kube-ops

创建ServiceAccount

kubectl create -f jenkins-rbac.yaml

创建deployment和service

kubectl create -f jenkins-deployment.yaml

查看service暴露端口

kubectl get  svc -n kube-ops 
NAME       TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                          AGE
jenkins   NodePort   10.105.89.206   <none>        8080:31347/TCP,50000:30414/TCP   20h

jenkins部署完成

配置jenkins

1、登陆jenkiins：因为是NodePort模式，所以我们可以使用主机IP+端口的方式访问Jenkins

密码查看/var/jenkins_home/secrets/initialAdminPassword文件
2、选择安装推荐插件

3、等待安装完成，点击下一步，继续使用admin用户




4、进入jenkins主界面

5、安装常用插件
点击系统管理 ——> 插件管理，选择要安装的插件



6、安装完上述常用插件之后，配置kubernetes
点击系统管理 ——> 系统设置 ——> Add a new cloud ——> 选择kubernetes，填写相关信息

可以通过连接测试确定kubernetes地址连接是否正常
7、配置Pod Template

点击Advanced，配置高级选项

建议配置CPU、MEM资源。否则后期运行Job可能回报如下错误

配置volume

该配置为了实现docker in docker
配置完成点击保存

通过jenkins创建pipeline实现slave动态配置

1、新建job，选择free style

2、通过label选择slave节点

3、配置执行shell

保存配置
4、开始构建，点击立即构建

可以看到构建任务在执行
构建任务执行的同时我们可以点击系统管理 ——> 节点管理，可以查看临时新建的工作slave，构建完成之后删除该slave。
查看Console Output可以看到整个pipeline的输出信息，例如：slave节点，shell输出等。

5、通过自定义pipeline
创建一个自定义pipeline，配置pipeline script

构建输出如下图

到这里就完成了jenkins在kubernetes中的部署，以及jenkins通过kubernetes plugin实现对jenkins slave的动态管理。