目前我司的CICD的架构基本如图:
其实该架构是一个很常见的架构,但是我在这里主要考虑了如何最大化利用该架构 实现CICD的便捷使用以及后续如何快速集成到运维平台。
思考的问题:
1.因考虑到CICD的可靠性、安全性,需要将pipeline脚本和业务代码分离。
2.如何快速的批量生成项目
3.在使用pipeline scm的时候如何获取业务仓库的cpmmit-id(CI可以直接获取到,但CD 不拷贝业务代码的情况下如何获取? 目前开发测试环境使用commit作为版本号 线上预发用tag作为版本号)
4.发布到kubernetes平台的时候 一般都是k8s去harbor仓库自动拉取镜像,如果没有该镜像那么对于开发测试是无法感知到的。
解决:
目前我司用一个gitlab仓库来管理所有的pipeline脚本以及kubernetes的yml文件,jenkins使用pipeline SCM部署,这个时候有个问题就是业务代码如何克隆到该项目的workspace下进行编译构建,这个时候我们需要使用pipeline的dir函数去生成一个目录将业务代码clone到该目录下进行构建,例如java项目:
dir('project') {
echo "cloning project from $projecturl with branch: $branch"
final gitinfo = git([branch: "$branch", credentialsId: "$credentialsId", url: "$projecturl"])
echo "gitinfo: $gitinfo"
version = "${gitinfo.GIT_COMMIT}".substring(0, 6)
echo "version:$version"
imageName = "$imageName:$version"
}
stage('compile') {
docker.image('maven:3-alpine').withRun('-v /data/.m2:/root/.m2') {
dir('project') {
echo "mvn clean package module $modulename"
withAnt(jdk: 'jdk8') {
sh "java -version"
sh "which java"
sh "which mvn"
sh "mvn -version"
echo "--------------------------------"
sh "mvn clean package -pl $modulename -Dautoconfig.interactive=false -U -Dmaven.test.skip=true -Dmaven.javadoc.skip=true -am"
}
}
}
}
stage('build and push') {
try {
echo "build docker images and push to custom Registry"
sh "docker version"
docker.withRegistry('http://10.30.30.22:9080', '88a0c6e5-128b-49fb-89c4-7cbe7c8a7593') {
dir('build') {
def serviceImage = docker.build("$imageName", "-f Dockerfile --build-arg app=$modulename .")
/* Push the container to the custom Registry */
serviceImage.push()
}
}
} finally {
dir('build') {
/* Clean up */
deleteDir()
}
}
}
2.如何快速生成项目
正常情况下 在生成项目的时候我们需要新建项目-配置SCM-选择分支-选择jenkinsfile文件,但这样太繁琐了 并且如果使用grovvy去批量生成项目的话需要更改的配置会非常多容易出错。
所以我在这里的设计是所有的脚本都依赖于project name,通过jenkins自带的JOB_NAME变量去区分不同的项目,并且所有项目的入口都是主的jenkinsfile,通过不同的JOB_NAME路由到不同项目的jenkinsfile。
如图该脚本路径永远是不会变的。
这里我们只需要更改所属分支就可以了
然后我们可以通过jenkins的脚本命令行-grovvy脚本批量生成项目
脚本内容如下:
def hi = Hudson.instance
def allView = hi.getView("all")
def devNestedView = hi.getView("dev");
def buildNestedView = devNestedView.getView("构建");
def javaListView = buildNestedView.getView("java");
println("====================source items======================")
for (item in javaListView.getItems()) {
println("OUTPUT: " + item.getName())
}
println("======================================================")
println("====================target items======================")
def targetTestNestedView = hi.getView("test");
def targetBuildNestedView = targetTestNestedView.getView("构建");
def targetJavaListView = targetBuildNestedView.getView("java");
//拷贝一个视图下的JOB
for (item in javaListView.getItems()) {
//create the new project name
newName = item.getName().replace("ci_dev", "ci_test")
// copy the job, disable and save it
def job
try {
//因为第一次导入后报错,所以添加了try-catch 跳过已存在的job
job = Hudson.instance.copy(item, newName)
} catch (IllegalArgumentException e) {
println("WARN: $newName job is exists")
def newItem = allView.getItem(newName)
if (!targetJavaListView.contains(newItem)) {
//add job to view
targetJavaListView.add(newItem)
}
continue
} catch (Exception e) {
println("ERROR: " + item.getName() + " copy failed")
continue
}
job.disabled = true
job.save()
//add job to view
targetJavaListView.add(job)
println(" INFO: $item.name copied as $newName")
}
for (item in targetJavaListView.getItems()) {
println("OUTPUT: " + item.getName())
}
println("==================================================");
3.在使用pipeline scm的时候如何获取业务仓库的cpmmit-id(CI可以直接获取到,但CD 不拷贝业务代码的情况下如何获取? 目前开发测试环境使用commit作为版本号 线上预发用tag作为版本号)
在这种情况下现有的git插件只能获取到不同仓库的tag或者branch 但是不能获取到commit id,所以这里我在Active Choices Parameter插件使用了grovvy script的形式去获取git里的commit,效果:
脚本内容:
def command = "sh /root/getTags.sh development/bi-tools-service"
def proc = command.execute()
proc.waitFor()
def lw = "${proc.in.text}"
def lww= Arrays.asList(lw.split(","))
return lww
getTags.sh的脚本内容大致就是curl的形式获取gitlab的commit的列表,我这里因为是docker 所以直接取获取了harbor的api接口的列表。
4.发布到kubernetes平台的时候 一般都是k8s去harbor仓库自动拉取镜像,如果没有该镜像那么对于开发测试是无法感知到的。
在pipeline脚本先检测该镜像是否存在:
stage("check images") {
sh "sh scripts/cd/getImage.sh ${environment}/${JOB_PATH}:${TAGId}"
}
#!/bin/bash
USER="admin"
PASS="Harbor12345"
HURL="http://10.30.30.22:9080"
MTAG=`echo $1 | awk -F ":" '{print $1}'`
checkTag=`echo $1 | awk -F ":" '{print $2}'`
ttoken=$(curl -iksL -X GET -u $USER:$PASS $HURL/service/token?account=${USER}\&service=harbor-registry\&scope=repository:${MTAG}:pull|grep "token" |awk -F '"' '{print $4}')
#echo $ttoken
flag=0
tlist=$(curl -ksL -X GET -H "Content-Type: application/json" -H "Authorization: Bearer $ttoken" ${HURL}/v2/${MTAG}/tags/list|awk -F '[' '{print $2}'|awk -F ']' '{print $1}'|sed 's/"//g')
tlist1=$(curl -ksL -X GET -H "Content-Type: application/json" -H "Authorization: Bearer $ttoken" ${HURL}/v2/${MTAG}/tags/list)
tlist2=`echo $tlist1|jq '.errors'`
if [[ $tlist2 == null ]]; then
getTag=`echo $tlist1 | jq ".tags"|cut -d '[' -f 1 | cut -d ']' -f 1 | sed 's/[[:space:]]//g' | grep -v "^$" | sed -e 's/\"//g'|tr ',' '\n'`
for i in $getTag
do
if [[ $checkTag == $i ]]; then
echo "镜像匹配成功!"
exit 0
else
flag=1
fi
done
if [[ flag==1 ]];then
echo "无法找到对应镜像:$MTAG:$checkTag"
exit 1
fi
else
echo "无法找到对应镜像:$MTAG:$checkTag"
exit 1
# echo $tlist|sed 's/,/\n/g'
fi