容器中运行podman，并作为 动态slave节点应用于jenkins中

最新推荐文章于 2024-09-11 19:05:54 发布
最新推荐文章于 2024-09-11 19:05:54 发布
阅读量935 收藏 4
点赞数 1
文章标签： docker jenkins 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013332975/article/details/120549016
版权

容器中运行podman，并作为 动态slave节点应用于jenkins中

基于k8s+jenkins 的ci/cd 框架下，所有的操作（下载代码，静态代码检测，代码编译，UT ,版本制作，版本推送，AC）都是在容器中执行的。如果版本制作，版本推送的制品是镜像的话，就需要dind 技术 及在docker 起的容器中运行 docker 命令。但是由于docker 依赖于 docker.sock 这个守护进程， 但是 容器中是没法运行这个进程的。所以人们想到的方法是用特权模式(–privileged)运行安装了docker的容器，并将 docker.sock 挂载到 这个容器中来实现，但是这样就有个局限，必须保证宿主机上运行了docker ，并且 版本要和容器中的docker 匹配。一旦不符合条件，就会运行失败。而且在不久的将来 docker 要收费了。k8s 也打算跟docker 解耦。直接用containerd 作为 容器运行时。这中情况下我想能否使用 podman 作为容器中镜像制作的工具了？ 因为 它不需要什么守护进程， 这样就跟宿主机解耦了，它不用关心宿主机是否安装了docker,podman 。经实验确实可以实现。

制作能运行podman 镜像

下面贴出的就是制作安装了podman 的基础镜像 的dockerfile

FROM centos:centos8
ENV KUBECONFIG /home/config
RUN yum install -y podman && \
    sed -i 's/#mount_program/mount_program/g' /etc/containers/storage.conf && \
    sed -i 's/mountopt/#mountopt/g' /etc/containers/storage.conf

是不是非常简单，使用一个centos 的基础镜像然后 yum install 安装下 ，修改2个配置就可以了。
下面就是运行的例子，当然特权模式时必须的。

[root@localhost ~]# docker run -it --rm --privileged a3c2a64b812f bash
[root@b3398fe3daee /]# podman info
host:
  arch: amd64
  buildahVersion: 1.21.3
  cgroupControllers:
  - cpuset
....

Pind(podman in docker) 应用于jenkins slave 节点

容器中运行podman 并访问 私有仓库

前提条件：

  1. 容器能运行podman
  2. 容器能访问私有仓库
    对于问题1. 上面的方法已经解决，主要是问题2，这个跟普通虚机配置 podman 私有仓库访问方法一样。分两种情况：
    1. 基于http 运行的 私有仓库， 直接在 /etc/containers/registries.conf 配置 不用接受ssl 检测即可
[registries.insecure]
registries = ["kanq.k8s.com:7443"]
  1. 基于 https 运行的私有仓库 需要将你配置仓库创建的ca 证书， 私有仓库服务端的证书和密钥拷到/etc/containers/certs.d/kanq.k8s.com:7443（这个目录名要跟你registries.conf 配置的一样）目录下就行。
  2. 如果你向我一样用的域名 还需要保证 启动的容器能对 你的域名解析这里我使用一个最直接的方式直接在hosts 文件中写死。当然如果有自己的域名解析服务器可以添加到/etc/resolv.conf
vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.3.154 kanq.k8s.com

解决完上面两个问题，就可以直接 podman login -u admin -p Harbor kanq.k8s.com:7443 登录，然后就可以实现podman build pull push 操作了

作为动态slave 用于 基于k8s 的 jenkins 服务器

这个说白了就是将这个镜像以pod 的方式在k8s 上跑起来。将仓库地址（证书）配置好就可以了。
实现方式很多：

  1. 如果是http 模式私有仓库直接在你运行命令前sed 命令修改 对应配置文件就行了
  2. 如果是https 模式就需要解决证书得问题了。
    1. 做镜像时dockerfile 中修改好直接将 证书和密钥拷到对应位置，但是如果仓库发生了变化就得重新制作镜像。
    2. 既然是k8s 场景 我们可以用卷得方式挂载到 pod中。这里不建议用hostpath 模式，因为这样需要你保证每个k8s 得slave节点上都有对应得证书。这里使用secert 因为secert 相较于configmap 安全些 它会对数据做bead64 加码。
使用kubectl 命令创建docker secret  
kubectl create secret generic dockersecret --from-file {{harborCertsPath}}/ca.crt --from-file {{harborCertsPath}}/{{harborCert}} --from-file {{harborCertsPath}}/{{harborKey}} -n jenkins
在jenkins 得pod 模板中配置卷挂载即可 如下：

pipeline{
    agent {
        kubernetes{
            yaml '''
                apiVersion: "v1"
                kind: "Pod"
                metadata:
                  name: "devops"
                spec:
                  containers:
                  - name: "jnlp"
                    image: "kanq.k8s.com:7443/devops/centos-slave-jnlp-git:latest"
                    imagePullPolicy: "IfNotPresent"
                    volumeMounts:
                    - mountPath: "/home/jenkins/agent"
                      name: "workspace-volume"
                      readOnly: false
                    workingDir: "/home/jenkins/agent"
                  - name: "build"
                    args:
                    - "999999"
                    command:
                    - "sleep"
                    image: "kanq.k8s.com:7443/devops/golang:1.17"
                    imagePullPolicy: "IfNotPresent"
                    name: "build"
                    volumeMounts:
                    - mountPath: "/home/jenkins/agent"
                      name: "workspace-volume"
                      readOnly: false
                    workingDir: "/home/jenkins/agent"
                  - name: "podman"
                    args:
                    - "999999"
                    command:
                    - "sleep"
                    env:
                    - name: HarborU
                      valueFrom:
                        secretKeyRef:
                          name: harbor
                          key: username
                    - name: HarborP
                      valueFrom:
                        secretKeyRef:
                          name: harbor
                          key: password
                    image: "kanq.k8s.com:7443/devops/centos-slave-podman-kubectl:latest"
                    imagePullPolicy: "IfNotPresent"
                    securityContext:
                      privileged: true
                    volumeMounts:
                    - mountPath: "/etc/containers/certs.d/kanq.k8s.com/"
                      name: podman
                    - mountPath: "/home/"
                      name: k8sconfigmap
                    - mountPath: "/home/jenkins/agent"
                      name: "workspace-volume"
                      readOnly: false
                    workingDir: "/home/jenkins/agent"
                  activeDeadlineSeconds: 60000
                  volumes:
                  - emptyDir:
                      medium: ""
                    name: "workspace-volume"
                  - secret:
                      secretName: dockersecret
                    name: podman
                  - secret:
                      secretName: harbor
                    name: harbor
                  - configMap:
                      name: k8sconfig
                    name: k8sconfigmap
            '''
        }
    }
    stages{...}
}

写在最后：

  1. 上面的例子中有个恶心的事儿是我使用得是harbor+https+非默认端口（443）的私有仓库，实现起来就更繁琐些，因为 k8s 挂卷不支持 xxx:xxx 这样得目录名格式，所以我挂卷时，只能折中下将":7443" 去掉，在运行podman 命令前 加一个 “cp -r /etc/containers/certs.d/kanq.k8s.com/ /etc/containers/certs.d/kanq.k8s.com:7443”
  2. 还有 由于我们需要pull(podman build 会下载基础镜像) push 镜像所以要登录到这个私有仓库。直接在jenkinsfile 中明文写出来不大安全。所以需要使用 podman login --password-stdin 这个参数来输入密码，有两种方式：
a. 用文件的方式
echo "xxx">password.txt
cat password.txt |podman login -u admin --password-stdin kanq.k8s.com:7443
b. 用变量的方式 
HarborP="xxxx"
echo "$HarborP"  |podman login -u admin --password-stdin kanq.k8s.com:7443

这里 两种方式 ，如果直接在jenkinsfile 中执行起不到任何效果。都执行了一次echo 明文打印，
所以打算用 卷挂载的方式这里我还是选择了 secert ，
但是跟挂载密钥不同我将它挂载成了环境变量。
这里需要说明下:
如果挂载成文件 如果你的secert 跟新了 你容器中的文件也会同步跟新，
但是如果挂载成了环境变量，它就不会跟新了，
这里就需要根据实际情况做取舍了。我这里为了练习使用secert 所以用的是环境变量的方式
创建secert 命令： 由于 变量比较简单，这里直接用的是变量key:value 的格式创建的
kubectl create secret generic harbor --from-literal username={{harborU}} --from-literal password={{harborP}} -n jenkins
  1. 我还需要我的podman 镜像中能执行 kubectl 命令 ，这就需要我容器中有kubectl 这个二进制文件，这个好实现，直接做镜像时拷入即可，但是 访问所需的 kubeconfig 文件就不行了， 不能部署一个k8s 就重做个镜像吧，这里又得用到卷挂载了，有两个选择，一个是hostpath 但是如果你的k8s 是用kubeasz 部署的就会发现k8s slave 节点 配置的 ~/.kube/config 里面的server ip 是127.0.0.1 这个挂到容器中是无法访问k8s 集群的。当然你可以在挂载后运行kubectl 命令sed 修改 运行完后 再改回来。但是这个太麻烦了。这里我选则用 configmap 的卷挂载，一来 这个配置文件比较大，用secert 不大合适而且 这个文件中密钥相关已经做了加密操作。
---逆渡默行---
关注
【DevOps】Jenkins+Kubernetes：K8S集群外部署的Jenkins，设置动态Jenkins-slave工作节点到K8S集群中
CN_Eden
06-24 1459
Jenkins部署，设置动态slave到K8S集群中 centos docker jenkins kubernets 7.9 20.10 2.289 19.10 通常情况下jenkins单节点自己可以工作，但是一旦发布任务量巨大，server端自己肯定是靠不住的。为了解决这个问题，可利用Jenkins server端和slave节点，server端用作调度任务，slave节点用于工作。随着容器化不断盛行和kubernetes容器编排工具加持，对于企业并发构建任务起到了重要的自动化作用。
在容器中运行Jenkins部署主机中的docker应用
猛禽的编程艺术
05-14 6237
如何让一个跑在container里的Jenkins把应用部署到host环境上？
CentOS8.2 安装podman jenkins
LANGZI7758521的专栏
03-31 395
参考：https://8gwifi.org/docs/podman-jenkins.jsp 1.注册centos开发者账号 2.podman pull jenkinsci/blueocean 3. podman container run \ --name jenkins-blueocean \ --rm \ --detach \ --privileged \ --publish 8080:8080 \ --publish 50000:50000 \ --volume
2024年9月11日（k8s环境配置）
最新发布
weixin_70751333的博客
09-11 1282
systemctl status containerd #都要是启动状态。
podman安装jenkins
lxw的博客
11-06 2181
podman安装jenkins一、centos8安装podman二、podman拉取jenkins三、配置jenkins四、登陆jenkins 一、centos8安装podman 二、podman拉取jenkins 三、配置jenkins 四、登陆jenkins ...
Podman容器的使用
时羽天的博客
08-15 688
Podman容器、Podma容器用户操作
Jenkins使用Docker（Podman）安装部署web应用
buyue
06-08 397
最终效果：在jenkins对某个项目进行构建，jenkins先通过。，并自动把这个最新的jar在容器中运行，达到一键式构建的目标。拉取最项目的最新代码，然后根据。
Jenkins 部署及加入Slave节点
lovely_nn的博客
03-11 2261
1.docker安装Jenkins $ docker pull jenkins/jenkins $ mkdir /root/nn/jenkins_volume $ chmod 777 /root/nn/jenkins_volume $ docker run -itd --name jenkins -p 8080:8080 -p 50000:50000 -e JAVA_OPTS="-Dorg.apache.commons.jelly.tags.fmt.timeZone='Asia/Shanghai'"
jenkins-jnlp-slave:一个JNLP从站，可启用docker构建并在启动时修复卷权限
05-23
Jenkins JNLP Agent Docker映像 该映像基于映像，并修复了docker创建的卷的权限问题。 该映像还包含docker二进制文件，并且能够挂载/var/run/docker.sock以使从属服务器能够在从属服务器上运行docker命令。 映像的...
使用Docker容器做Jenkins代理节点
锐意工作室
05-03 6526
文章目录使用Docker容器做Jenkins代理节点配置一个Docker节点配置Jenkins Master配置JNLP端口安装Docker插件配置Docker Cloud配置Docker Agent Template在流水线中使用DockerTroubleshooting参考文档 使用Docker容器做Jenkins代理节点 本文描述了如何将Jenkins代理节点（Jenkins Slave或J...
jenkins开启web代理通过tcp端口方式使master与slave建立连接
江晓龙的博客
11-23 4887
jenkins web代理是指slave通过jenkins服务端提供的一个tcp端口，与jenkins服务端建立连接，docker版的jenkins默认开启web tcp代理，端口为50000，而自己手动制作的jenkins容器或者在物理机环境部署的jenkins，都需要手动开启web代理端口，如果不开启，slave无法通过web代理的方式与jenkins建立连接。jenkins web代理的tcp端口不是通过命令启动的而是通过在全局安全设置中配置的，配置成功后会在系统上运行一个指定的端口。
Podman in Docker
qq_45811217的博客
11-08 424
Podman in Docker
Podman之Podman容器基础
YangLuxxx123
12-15 1630
Podman之Podman容器基础 1. 什么是podman Podman 原来是 CRI-O 项目的一部分，后来被分离成一个单独的项目叫 libpod。Podman 的使用体验和 Docker 类似，不同的是 Podman 没有 daemon。以前使用 Docker CLI 的时候，Docker CLI 会通过 gRPC API 去跟 Docker Engine 说「我要启动一个容器」，然后 Docker Engine 才会通过 OCI Container runtime（默认是 runc）来启动一个容器
K8S中Pod的使用
weixin_39608791的博客
10-15 1367
文章目录K8S中Pod的使用一、概览1、Pod资源的特点2、Pod容器分类3、镜像拉取策略（image PullPolicy）4、资源限制5、重启策略6、探针检查二、实验与使用1、镜像拉取策略（master）2、在node节点使用curl查看头部信息（node）3、安装docker工具（harbor）4、部署harbor创建私有项目（harbor）5、配置连接私有仓库（node）6、编辑配置文件（master）7、镜像打标签（node）8、修改配置文件（master）9、编辑配置文件（master）10、查
容器运行时
qq_36270681的博客
09-18 1183
现在主流的容器运行时：docker containerd podman docker 镜像和containerd 镜像通用，但是组织方式和存放目录不同，导致docker 和 ctr 命令不通用，各自管理自己的镜像容器，此外k8s还有客户端命令crictl ，用法和docker基本相同 containerd 安装与配置（这个其实很少单独拿来使用，一般作为k8s 容器运行时使用，所以命令啥的麻烦不用记住，单独使用还是用docker,） yum -y install containerd.io...
docker 进入容器内部后的命令_从Jenkins容器内部执行宿主机的docker命令
weixin_39724287的博客
12-20 1467
前提条件，docker开启RESTful API操作Docker的守护进程:1、在vim/usr/lib/systemd/system/docker.service中添加如下参数ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock2、重启dockersystemctl restart doc...
Jenkins从github拉取springboot项目代码打包发布到podman容器运行
LemonsChen
02-07 1390
springboot、github、maven、jenkins、podman、git
jenkins容器挂载宿主机docker使用docker
Merandღ的博客
07-22 1804
因为容器部署方便，所以我很多应用都是通过docker方式部署的，但是容器部署后想要使用其他东西就比较麻烦，比如Jenkins要用Python脚本，ansible，还有docker命令打包上传镜像就比较麻烦了。之前Jenkins为了用ansible，直接写dockerfile安装ansible在Jenkins容器中，导致镜像太大了。 如果在Jenkins容器中安装docker，感觉比较麻烦，而且镜像也会增大。所以通过挂载的方式，将宿主机的docker挂载到Jenkins容器中使用 修改docker..
k8s+crio+podman搭建集群
「 虚幻私塾」
07-14 3668
在传统的k8s集群中，我们都是使用docker engine做为底层的容器管理软件的，而docker engine因为不是k8s亲生的解决方案，所以实际使用中会有更多的分层。之前我们也讲过，k8s为了调用docker engine，专门写了一个dockershim做为CRI，而在1.20版本的时候，k8s就宣布停止更新dockershim了，也就是说再往后的版本就不推荐使用k8s+dockershim+docker engine的方案了。而k8s官方比较推荐的解决方案中，官方比较推荐的是cri-o或者con
Jenkins动态slave
05-16
在Jenkins中，slave是Jenkins的工作节点，它通常是一台独立的机器，可以连接到Jenkins主节点，通过主节点分配任务来运行构建和部署。通常情况下，slave是静态的，需要手动配置和管理，但是Jenkins也支持动态slave。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值