基于kubernetes/k8s构建Jenkins持续集成平台

最新推荐文章于 2022-06-24 20:06:18 发布

知己一语

最新推荐文章于 2022-06-24 20:06:18 发布

阅读量79

点赞数

文章标签： kubernetes jenkins ci/cd 容器云原生

本文链接：https://blog.csdn.net/weixin_57839131/article/details/133006263

版权

基于kubernetes/k8s构建Jenkins持续集成平台

Jenkins的Master-Slave 分布式构建

什么是master-slave分布式构建

Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节点的压力，而且可以同时构建多个，有点类似负载均衡的概念。

Jenkins实现Master-Slave 分布式构建

开启代理程序的TCP端口

Manage Jenkins -> Conﬁgure Global Security

TCP port for inbound agents---->随机选取--->保存

jenkins上新建节点

Manage Jenkins—Manage Nodes—新建节点

注意，这里的节点名称，后续的Jenkinsfile里会调用

设置名称，远程工作目录，自定义工作目录

点击下载jar包。这个jar包需要传递到节点服务器上

Jenkins从节点服务器配置

将下载好的jar包上传到从节点上

Jenkins从节点关闭防火墙，selinux，并下载git

systemctl disable firewalld --now
setenforce 0
sed -i '/^SELINUX/ s/enforcing/disabled/' /etc/selinux/config

yum -y install git

在agent.jar 包所在目录，执行命令

测试

新建流水线

Kubernets实现Master-Slave 分布式构建方案

传统Jenkins的Master-Slave 方案的缺陷

Master节点发生单点故障时，整个流程都不可用
每个Slave节点的配置环境不一样，来完成不同语言的编译打包等操作。但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
资源分配不均衡，有的Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
资源浪费，每台Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源

以上种种问题，我们可以引入Kubernetes来解决

Kubernetes简介

Kubernetes(简称，K8S)是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。其主要功能如下：

使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。
解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题
Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。

Kubernetes+Docker+Jenkins 持续集成架构图

大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。(完全自动化，无需人工干预)

Kubernetes+Docker+Jenkins持续集成方案的好处

服务高可用：当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。
动态伸缩，合理使用资源：每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。
扩展性好：当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个Kubernetes Node 到集群中，从而实现扩展。

Kubeadm 安装Kubernetes

Kubernetes的架构

API Server：用于暴露Kubernetes API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。
Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。
Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点(Endpoint)、命名空间(Namespace)、服务账号(ServiceAccount)、资源定额(ResourceQuota)的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。
Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node。
Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理
Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件。

安装环境说明

主机名称	IP地址	安装的软件
代码托管服务器	192.168.23.10	Gitlab-12.4.2
Docker仓库服务器	192.168.23.13	Harbor1.9.2
k8s-master	192.168.23.15	kube-apiserver、kube-controller-manager、kube- scheduler、docker、etcd、calico，NFS
k8s-node1	192.168.23.16	kubelet、kubeproxy、Docker18.06.1-ce
k8s-node2	192.168.23.17	kubelet、kubeproxy、Docker18.06.1-ce

三台k8s服务器都需要完成

修改三台机器的hostname及hosts文件

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1 
hostnamectl set-hostname k8s-node2

cat >>/etc/hosts<<EOF 
192.168.23.15 k8s-master 
192.168.23.16 k8s-node1 
192.168.23.17 k8s-node2 
EOF

关闭防火墙和selinux

systemctl disable firewalld --now
setenforce 0
sed -i '/^SELINUX/ s/enforcing/disabled/' /etc/selinux/config

设置系统参数，加载br_netfilter模块

设置允许路由转发，不对bridge的数据进行处理

modprobe br_netfilter

cat >>/etc/sysctl.d/k8s.conf<<EOF 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1 
vm.swappiness = 0
EOF

sysctl -p /etc/sysctl.d/k8s.conf

安装和配置docker-ce

yum install -y yum-utils  device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum -y install docker-ce

systemctl enable docker --now

#配置镜像加速和受信仓库
cat >>/etc/docker/daemon.json<<'EOF'
{
  "registry-mirrors": ["https://k0ki64fw.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.23.13:85"]
}
EOF

systemctl restart docker

kube-proxy开启的前置条件

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash 
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

所有节点关闭交换空间

swapoff  -a

sed -i '/swap/ s/^/#/' /etc/fstab 
mount -a

安装kubelet,kubeadm,kubectl

kubeadm: 用来初始化集群的指令。
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
kubectl: 用来与集群通信的命令行工具。

yum clean all

#安装yum 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

ls /etc/yum.repos.d/

#注：要安装1.17版本
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

kubelet设置开机启动

注意，先不要启动，现在启动的话会报错

systemctl enable kubelet
kubelet --version

Master节点需要完成

注意，以下操作仅在master节点上操作

运行初始化命令(需要docker环境)

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.23.15 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意：apiserver-advertise-address这个地址必须是master机器的

service-cidr 和pod-network-cidr的地址不能相同

初始化时报错解决

错误一：

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver

作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”

解决方案：修改Docker的配置: vi /etc/docker/daemon.json，加入

{
"exec-opts":["native.cgroupdriver=systemd"]
}

然后重启docker

错误二：

[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

解决方案：修改虚拟机的CPU的个数，至少为2个

安装完成后，提示节点安装命令，必须记下来

配置kubectl工具

mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

启动kubelet

systemctl restart kubelet
systemctl status kubelet

安装calico

mkdir k8s
cd k8s

#不检查凭证下载calico.yaml
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

//地址更改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml

kubectl apply -f calico.yaml

查看所有Pod状态，确保所有的Pod都是Running状态(需要一小段时间)

kubectl get pod --all-namespaces -o wide

Slave 节点需要完成

以下操作在所有slave节点完成

让所有节点加入到集群环境

使用之前master节点产生的命令加入集群

kubeadm join 192.168.23.15:6443 --token 823nvy.hwz9fnjfvot3panq \
    --discovery-token-ca-cert-hash sha256:81d55d93d489313e25e75f0d87a14b7a7b519f5171ba83c0cdf13ab2de67ec92

master 节点查看集群状态

在master 节点查看集群状态，如果status 全部为Ready，则代表集群环境搭建成功(需要一小段时间)

kubectl get nodes

kubectl常用的命令

kubectl get nodes	   #查看所有主从节点的状态,如果有noready状态，看一看从节点的kubelet
kubectl get ns	     #获取所有namespace资源
kubectl get pods -n {$nameSpace}	        #获取指定namespace的pod
kubectl describe pod的名称	-n {$nameSpace}	  #查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less	  #查看日志
kubectl create -f xxx.yml	   # 通过配置文件创建一个集群资源对象
kubectl delete -f xxx.yml	   #通过配置文件删除一个集群资源对象
kubectl apply -f xxx.yml     #和create作用相同，并且还可以通过配置文件升级资源

知己一语

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
基于kubernetes/k8s构建Jenkins持续集成平台

基于kubernetes/k8s构建Jenkins持续集成平台目录Jenkins的Master-Slave 分布式构建什么是master-slave分布式构建Jenkins实现Master-Slave 分布式构建开启代理程序的TCP端口jenkins上新建节点Jenkins从节点服务器配置测试Kubernets实现Master-Slave 分布式构建方案传统Jenkins的Master-Sla...
复制链接

扫一扫