Jenkins基于https的k8s配置和Gitlab

最新推荐文章于 2024-08-05 08:57:59 发布

dz45693

最新推荐文章于 2024-08-05 08:57:59 发布

阅读量1.9k

点赞数

分类专栏： TeamCity,jenkins docker k8s

原文链接：https://www.cnblogs.com/xiao987334176/p/11338827.html

版权

docker k8s 同时被 2 个专栏收录

54 篇文章 5 订阅

订阅专栏

TeamCity,jenkins

26 篇文章 1 订阅

订阅专栏

docker run  -u root  --rm -d -p 8080:8080  -p 50000:50000 \ 
  -v jenkins-data:/var/jenkins_home \ 
  -v /var/run/docker.sock:/var/run/docker.sock \ 
  jenkinsci/blueocean
#https://www.jenkins.io/zh/doc/book/installing/

一、摘要

jenkins 连接低版本的k8s时，不需要验证。但是新版本的启用了https和角色管理

二、安装kubernetes插件

登录jenkins，点击 Manage Jenkins --> Manage Plugins --> 可选插件

在搜索框中，输入关键字 kubernetes

勾选Kubernetes，点击直接安装

等待几分钟，提示安装完成。

点击安装完成后重启Jenkins(空闲时)

提示正在重启中

重新登录jenkins，返回首页。点击 Manage Jenkins --> Configure System

将网页拉动到最底下，点击新增一个云，就会出现Kubernetes

效果如下：

如果直接写 kubernetes地址，点击测试，会报错。

k8s集群信息

root@k8s-master:~# kubectl cluster-info 
Kubernetes master is running at https://192.168.10.130:6443
KubeDNS is running at https://192.168.10.130:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

根据以上的配置，可以看到，已经是启用https了，这里就涉及到了密钥的问题。

三、创建admin证书

安装证书工具

安装cfssl
此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用

登录k8s master节点执行

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

准备证书签名请求

vim admin-csr.json   内容如下：

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "XS",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

证书请求中的O 指定该证书的 Group 为 system:masters

而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定，这就赋予了该证书具有所有集群权限 。

创建证书和私钥

cfssl gencert -ca=/etc/kubernetes/pki/ca.crt -ca-key=/etc/kubernetes/pki/ca.key --profile=kubernetes admin-csr.json | cfssljson -bare admin

最终生成以下3个文件：admin.csr admin-key.pem admin.pem

配置证书

生成pkc格式证书

我们可以通过openssl来转换成pkc格式：

openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret

将jenkins-admin.pfx 下载至桌面

四、配置jenkins认证

Kubernetes 服务证书 key

使用以下命令查看

root@k8s-master:~# cat /etc/kubernetes/pki/ca.crt

将证书内容填写，点击凭据后面的添加，点击Jenkins

得到jenkins-admin.pfk文件后，点击Jenkins配置Credentials后面的Add，配置如下

上传证书

选择文件 jenkins-admin.pfk

输入密码 secret，后面的内容可以不填写，点击添加。

选择凭据，点击连接测试。

出现 Connection test successful 表示连接成功。

添加Jenkins地址

点击保存

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

二、使用GitLab创建一个项目

点击 Create a project

创建 test 项目

添加 README 文件

输入内容，点击确定

效果如下：

创建jenkins用户

点击扳手按钮

点击 User

添加 jenkins 用户，点击最下面的Create user按钮。

点击编辑

修改密码，这里我定义的是 jenkins@1234

设置jenkins 用户ssh秘钥

点击 Impersonate ，表示冒充jenkins 用户

点击设置

点击 ssh keys

登录到jenkins服务器，生成秘钥

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

查看公钥

cat /root/.ssh/id_rsa.pub

将公钥内容复制到网页，点击添加秘钥

创建Access Tokens

点击左侧的Access Tokens，输入用户 jenkins，勾选权限，点击创建

复制token，待会 jenkins 设置时，会用到。Zzis8ALsiYuytsg2GH-5

点击退出

重新登录root用户，点击test

点击设置-成员

添加jenkins 用户，这样就可以访问项目了

三、 jenkins 安装和Git，GitLab插件

由于 jenkins安装时，勾选了推荐安装的插件，因此包含了git插件。

现在只需要安装gitlab插件即可

点击 Manage Jenkins --> Manage Plugins -->可选插件，搜索gitlab

勾选gitlab，点击直接安装

等待十几分钟

提示安装完成

点击 Manage Jenkins --> Configure System -->配置 -->Gitlab

Connection Name ”随便填，“Git Host URL”填GitLab的访问地址，然后点“Add”——“jenkins”，如下所示：

选择gitlalb api，输入 jenkins 用户创建的token Zzis8ALsiYuytsg2GH-5

选择 gitlab api token，点击测试连接，出现 Success，表示成功。

点击最下面的保存

配置Git插件

点击 Manage Jenkins --> Configure System -->配置 -->Git plugin

设置Git插件的全局配置，然后点击最下面的保存。

四、创建一个Jenkins Job

在jenkins里，一个任务叫做一个job。一般我们的项目会有多个分支，比如开发分支和产品分支，我们可以对每一个分支都新建一个job，比如，我们对开发分支创建一个测试的job,每次有代码提交就自动运行一次测试，对产品分支创建一个打包的job，每次有代码提交就运行打包任务。

不过在这里，我们只是单纯的创建一个job，来演示jenkins自动运行任务的过程。

首先，点击新建Item，item name”可以随便起，然后点击“构建一个自由风格的软件项目”，点击Ok

至此，创建一个Job成功了

由于 jenkins 服务器的ssh秘钥，已经添加到gitlab上面了。那么就可以进行下一步了！

配置Job的源码管理

选择“源码管理”，选择“Git”,然后去GitLab中复制项目地址，粘贴到“Repository URL”,然后点击“credentials”后面的“Add”按钮

类型，选择 SSH Username with private key

Username 填 root

PrivateKey 选择Enter directly，点击add

登录到jenkins 服务器，查看私钥

cat /root/.ssh/id_rsa

将内容复制到网页上面，点击添加

在“credentials”里选择我们刚刚创建的认证方式：root

如果没报错，说明成功了，点击页面底部的“apply”。如果出错了，会在“Repository URL”和“Credentials”之间显示红色的错误信息。

jenkins job默认对master分支进行构建，你也可以自定义分支。这要求你的Gitlab代码仓库中要存在这个分支，一般来说，就是要向代码仓库提交一次更改，请自行完成（Gitlab项目刚创建时是空的，一个分支也没有，这样的话，自动构建时会出错）

配置Job的构建触发器

选择“构建触发器”，勾选“Pull SCM”，这个选项会每隔一段时间检查一下GitLab仓库中代码是否有更新，有的话就执行构建操作。日程表如何设置，在这个输入框下面有说明。

扩展阅读：

常见构建触发器、：

Build after other projects are built 当另一个构建任务完成之后触发
Build periodically 周期性的触发
Build when a change is pushed to GitLab. GitLab CI Service URL: http://191.8.2.112:12000/project/test-go-dev 当代码有更新的时候触发，通过GitLab CI
GitHub hook trigger for GITScm polling 通过Github钩子触发
Poll SCM 定期检查代码有无更新，有更新时触发

这只是个人理解，具体怎么样大家可以试试，Poll SCM方式我是试过的。

配置Job的构建脚本

在build栏目里，选择“jenkins execute shell”,然后输入你项目的构建命令（这依赖于你的项目，如Maven的maven build，gulp的gulp xxx 等等）

这里我输入一段测试命令，表示将git项目的代码复制到/tmp/test

\cp -r $WORKSPACE /tmp/test

点击可用的环境变量列表，就可以看到很多变量

其中 WORKSPACE 表示，下载git项目后的路径。

由于git项目为test，因此路径为：/var/lib/jenkins/workspace/test

点击保存

点击 Build Now，点击下面的构建过程

点击控制台输出，就可以看到完整的cp命令

登录到jenkins服务器，查看/tmp/test目录，是否有文件存在。

复制代码

root@ubuntu:~# ll /tmp/test/
总用量 16
drwxr-xr-x  3 jenkins jenkins 4096 8月  28 18:27 ./
drwxrwxrwt 14 root    root    4096 8月  28 18:29 ../
drwxr-xr-x  8 jenkins jenkins 4096 8月  28 18:27 .git/
-rw-r--r--  1 jenkins jenkins   16 8月  28 18:27 README.md

复制代码