gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

 

1.持续集成之gitlab+gerrit+jenkins

1.1. GitLab

1.1.1. 简介

GitLab 是一个使用使用 Ruby on Rails 搭建的,用于仓库管理系统的开源项目。使用 Git 作为代码管理工具,并在此基础上搭建起来的web服务

1.1.2. 环境搭建

a) Install and configure the necessary dependencies

If you install Postfix to send email please select 'Internet Site' during setup. Instead of using Postfix you can also use Sendmail or configure a custom SMTP server . If you wish to use Exim, please  configure it as an SMTP server.

On Centos 6 and 7, the commands below will also open HTTP and SSH access in the system firewall.

sudo apt-get install curl openssh-server ca-certificates postfix

b) Add the GitLab package server and install the package.

    • Apt-get安装

Curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh|sudo bash

sudo apt-get install gitlab-ee

If you are not comfortable installing the repository through a piped script, you can find theentire script here .

Alternatively you can select and download the package manually and install using

    • deb包安装

下载deb包

https://packages.gitlab.com/gitlab/gitlab-ee

安装deb包

sudo dpkg -i gitlab-ee_8.1.2-ee.0_amd64.deb

c) 1.1.2.3. Configure and start GitLab

sudo gitlab-ctl reconfigure

d) 1.1.2.4. Browse to the hostname and login

http://10.24.6.8:80

Username: rootPassword: 5iveL!fe

e)  2.1.6. Upload your license(EE版本需要认证)

Go to Admin > License and upload your .gitlab-license file.

Don't have a license yet?  Get a subscription.

1.1.3. 创建TEST项目

创建test 项目

gitlab+gerrit+jenkins持续集成框架  

1.1.4.  Gerrit Review支持

前面我们在Gitlab上搭建了一个 test 的工程,普通用户是没有办法去 push 的,只能使用 git review 命令提交. 而 git review 命令需要 .gitreview 文件存在于项目目录里。

1.1.4.1安装支持库

需要安装git-review, readline

Apt-get install git-review

Linux :pip install readline

Windows:pip install pyreadline

gitlab+gerrit+jenkins持续集成框架

1.1.4.2 用 admin用户给test项目添加.gitreview文件

a) 拷贝gitlab的test项目

gerrit@gerrit:~/cfg$ git init cfg

gerrit@gerrit:~/cfg$ git init cfg

gerrit@gerrit:~/cfg/cfg$ git config --global user.name 'root'

gerrit@gerrit:~/cfg/cfg$ git config --global user.email 423884230@qq.com

gerrit@gerrit:~/cfg/cfg$ git clone http://10.24.6.8/root/test.git

gerrit@gerrit:~/cfg/cfg$ cd test/

gitlab+gerrit+jenkins持续集成框架

b)  添加gitreview文件

gerrit@gerrit:~/cfg/cfg/test$ vim .gitreview

文件内容为:

gitlab+gerrit+jenkins持续集成框架  

c)  上传gitreview文件

gerrit@gerrit:~/cfg/cfg/test$ git add .gitreview

gerrit@gerrit:~/cfg/cfg/test$ git commit .gitreview -m 'add .gitreview file by admin.'

gerrit@gerrit:~/cfg/cfg/test$ git push origin master

gitlab+gerrit+jenkins持续集成框架

1.1.5. 用户创建

以admin账户登录创建账户

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

1.1.6 SSH设置

a)  Su 进入linux对应账户

b)  创建sshkey

$ sudo -u gerrit -H ls /home/gerrit/.ssh

$ sudo -u gerrit -H ssh-keygen -C 423884230@qq.com

邮箱为gitlab的账户注册邮箱

c)  获取ssh pub key

$ sudo -u gerrit -H cat /home/gerrit/.ssh/id_rsa.pub

gitlab+gerrit+jenkins持续集成框架

d)  登录新创建用户设置SSH Keys

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

1.1.7. Git自带code review功能

  • 强制 Review :在 Gitlab 上创建的项目,指定相关用户只有 Reporter 权限,这样用户没有权限使用 git push 功能,只能 git review  Gerrit 系统上, Jenkins 在监听 Gerrit 上的项目事件会触发构建任务来测试代码, Jenkins 把测试结果通过 ssh gerrit 个这个项目打上Verified 成功或失败标记,成功通知其它人员 Review 
  • Ø  Gitlab 保护 Master 分支:在 Gitlab 上创建的项目可以把 Master 分支保护起来,普通用户可以自己创建分支并提交代码到自己的分支上,没有权限直接提交到 Master 分支,用户最后提交申请把自己的分支 Merge  Master ,管理员收到 Merge 请求后, Review 后选择是否合并。  

a)  针对某次提交进行评论

gitlab+gerrit+jenkins持续集成框架

b) 负责人设置master/release分支受保护,只有负责人可以提交,其他人不能push

Branch protected总开关

gitlab+gerrit+jenkins持续集成框架

项目分支开关

gitlab+gerrit+jenkins持续集成框架

c)  没被允许提交的用户无法提交

gitlab+gerrit+jenkins持续集成框架

d) GitLab提交合并请求给负责人

同时发送邮件给该负责人,让他知道有人要合并分支

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

e)  负责人接收到合并请求

gitlab+gerrit+jenkins持续集成框架

f)  接受合并

gitlab+gerrit+jenkins持续集成框架

1.1.8 备份

  • Gitlab 创建备份

使用Gitlab一键安装包安装Gitlab非常简单, 同样的备份恢复与迁移也非常简单. 使用一条命令即可创建完整的Gitlab备份:

gitlab-rake gitlab:backup:create

使用以上命令会在/var/opt/gitlab/backups目录下创建一个名称类似为1393513186_gitlab_backup.tar的压缩包, 这个压缩包就是Gitlab整个的完整部分, 其中开头的1393513186是备份创建的日期.

  • Gitlab 修改备份文件默认目录

你也可以通过修改/etc/gitlab/gitlab.rb来修改默认存放备份文件的目录:

gitlab_rails['backup_path'] = '/mnt/backups'

/mnt/backups修改为你想存放备份的目录即可, 修改完成之后使用gitlab-ctl reconfigure命令重载配置文件即可.

  • Gitlab 自动备份

也可以通过crontab使用备份命令实现自动备份:

sudo su -

crontab -e

加入以下, 实现每天凌晨2点进行一次自动备份:

0 2 * * * /opt/gitlab/bin/gitlab-rake gitlab:backup:create

  • Gitlab 恢复

同样, Gitlab的从备份恢复也非常简单:

# 停止相关数据连接服务
gitlab-ctlstop unicorn
                gitlab-ctl stop sidekiq
                # 从1393513186编号备份中恢复
                gitlab-rake gitlab:backup:restore BACKUP=1393513186
                # 启动Gitlab
                sudo gitlab-ctl start
  • Gitlab迁移

迁移如同备份与恢复的步骤一样, 只需要将老服务器/var/opt/gitlab/backups目录下的备份文件拷贝到新服务器上的/var/opt/gitlab/backups即 可(如果你没修改过默认备份目录的话). 但是需要注意的是新服务器上的Gitlab的版本必须与创建备份时的Gitlab版 本号相同. 比如新服务器安装的是最新的7.60版本的Gitlab, 那么迁移之前, 最好将老服务器的Gitlab 升级为7.60在进行备份.

  • 其他

最新版本的Gitlab已经修复了HTTPS设备的BUG, 现在使用 官方HTTPS配置 即可轻松启用HTTPS.

1.1.9 遇到问题

a)  Your configuration specifies to merge with the ref 'master'

原因:这可能是 TortoiseGit 当前版本的一个 BUG

解决:

gitlab+gerrit+jenkins持续集成框架

1.2. Gerrit

1.2.1 简介

gerrit的工作模式是所有真正的merge由gerrit负责,我们的提交只是提交给了gerrit,gerrit会通知项目的负责人来审核 代码,同时也会调用一些自动化测试构建工具来检查代码是否符合要求,只有都通过后才会的合并进主干代码。所以可以把gerrit看成是代码和提交者之间的 一道门。

1.2.2. 环境搭建

a)  Jdk安装

安装最新版本Oracle JRE/JDK,使用PPA(personal package archieve)WEBUPD8的方式安装。

sudo apt-get install python-software-properties

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

如果你正在使用OPenJDK,那么先将它移除以免产生任何的冲突

sudo apt-get remove --purge openjdk*

然后使用下面的命令安装Oracle Java 7

sudo apt-get install oracle-java7-installer

b)  添加gerrit用户

adduser gerrit

c) 建立存放代码的目录

mkdir /home/gerrit/gerrit_dir/

d) 安装git

sudo apt-get install git

e) 安装

sudo java -jar gerrit-2.11.4.war init -d /home/gerrit/gerrit_dir/

一路按回车,先以默认方式安装,之后再手动修改配置文件。

f) 配置gerrit

vim review_site/etc/gerrit.config

gitlab+gerrit+jenkins持续集成框架

g) NGINX 安装

sudo apt-get install nginx

h) NGINX 配置

查看/etc/nginx/nginx.conf配置文件读取那些sites配置文件

gitlab+gerrit+jenkins持续集成框架

发现这里只include  /etc/nginx/sites-enabled里面的文件

在/etc/nginx/sites-enabled新增一个端口映射虚拟服务器文件gitlab

配置nginx端口映射,8082映射到gerrit的8081端口

gitlab+gerrit+jenkins持续集成框架

i) 服务重启

1.2.3 账户创建

以下模拟admin账户创建

a) NGINX 账户访问:创建 htpasswd.conf 文件,并添加 admin 用户、密码到文件中

# touch /etc/gerrit_account/htpasswd.conf

# htpasswd  /etc/gerrit_account/htpasswd.conf   admin

默认第一个登录 Gerrit 的用户是 Admin。

gitlab+gerrit+jenkins持续集成框架  

b) 邮箱验证

注册邮箱,并添加对应密钥

gitlab+gerrit+jenkins持续集成框架

c) 账户登陆

默认第一个登录 Gerrit 的用户是 Admin。

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

1.2.4  Gitlab 支持

1.2.4.1  克隆gitlab test项目

a) 创建test项目

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

b) 使用gitlab的 gerrit身份从gitlab克隆 test项目

注意:gerrit的ssh key需要同时能登陆gitlab和gerrit)

$ cd /home/gerrit/gerrit_dir

$ rm -rf test.git

$ git clone --bare git@10.24.6.8:root/test.git

gitlab+gerrit+jenkins持续集成框架 gitlab+gerrit+jenkins持续集成框架

1.2.4.2  自动同步项目到gitlab

同步 Gerrit 的test项目到 Gitlab 上的test项目

当用户 git review 后,代码通过 jenkins 测试、人工 review 后,代码只是 merge 到了 Gerrit 的 test-project1 项目中,并没有 merge 到 Gitlab 的 test 项目中,所以需要当 Gerrit test项目仓库有变化时自动同步到 Gitlab 的 test项目仓库中。Gerrit 自带一个 Replication 功能,同时我们在安装 Gerrit 时候默认安装了这个 Plugin。现在只需要添加一个 replication.config 给 Gerrit

a)  进入 gerrit 代码存放目录 gerrit_dir, 增加 replication.config

gerrit@gerrit:~/gerrit_dir$ vim etc/replication.config

文件内容为:

[remote "test"]

projects = test

url = git@10.24.6.8:root/test.git

push = +refs/heads/*:refs/heads/*

push = +refs/tags/*:refs/tags/*

push = +refs/changes/*:refs/changes/*

threads = 3

gitlab+gerrit+jenkins持续集成框架

b)  设置 gerrit 用户的 ~/.ssh/config

文件内容为:

Host 10.24.6.8:

IdentityFile ~/.ssh/id_rsa

PreferredAuthentications publickey

gitlab+gerrit+jenkins持续集成框架

c)   gerrit 用户的 ~/.ssh/known_hosts 中,给 10.24.6.8(gitlab) 添加 rsa 密钥

gerrit@gerrit:~/gerrit_dir$ sh -c "ssh-keyscan -t rsa 10.24.6.8 >> /home/gerrit/.ssh/known_hosts"

gitlab+gerrit+jenkins持续集成框架

gerrit@gerrit:~/gerrit_dir$ sh -c "ssh-keygen -H -f /home/gerrit/.ssh/known_hosts"

gitlab+gerrit+jenkins持续集成框架

d)  重新启动 Gerrit 服务

gerrit@gerrit:~/gerrit_dir$ ./bin/gerrit.sh restart

gitlab+gerrit+jenkins持续集成框架

e)  Gerrit 的自动功能配置完毕

在 gerrit 文档中有一个 ${name} 变量用来复制 Gerrit 的所有项目,这里并不需要。如果有多个项目需要复制,则在 replication.config 中添加多个 [remote ….] 字段即可。务必按照上面步骤配置复制功能。

1.2.5.  Jenkins 支持

1.2.5.1.  Jenkins 账户

a) 创建用户jenkins

$ sudo -u gerrit -H htpasswd /home/gerrit_account/htpasswd.conf Jenkins

gitlab+gerrit+jenkins持续集成框架

b) 用jenkins用户登录Gerrit更新邮箱 2026375060@qq.com 并验证

c) 创建jenkins密钥

$ sudo ssh-keygen -C 2026375060@qq.com

gitlab+gerrit+jenkins持续集成框架

d) 用jenkins用户登录Gerrit服务器,更新SSH公钥

获取公钥

    $ sudo -u jenkins -H cat /home/jenkins/.ssh/id_rsa.pub

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

e) Gerrit 的 ‘Stream Events’配置

管理员登录gerrit

Projects->List->All-Projects

Projects->Access

Global Capabilities->Stream Events 点击 Non-Interactive Users

添加 Jenkins@zjc.com 用户到 ‘Non-Interactive Users’ 组

gitlab+gerrit+jenkins持续集成框架

1.2.5.2  Verified功能支持

Verified功能,就是利用jenkins确定gerrit提交的代码是否有问题,需要jenkins给个确认

a) 如果安装Gerrit时没有或者没有选择添加Verified标签功能[‘lable Verified’],需要自己添加

gerrit@gerrit:~$ cd cfg/

gerrit@gerrit:~/cfg$git config --global user.name "admin"

gerrit@gerrit:~/cfg$git config --global user.email "423884230@qq.com"

gerrit@gerrit:~/cfg$git remote add origin ssh://admin@10.24.6.12:29418/All-Projects

gerrit@gerrit:~/cfg$ git pull origin refs/meta/config

gerrit@gerrit:~/cfg$ vim project.config

在文件末添加

[label "Verified"]

function = MaxWithBlock

value = -1 Fails

value =  0 No score

value = +1 Verified

gerrit@gerrit:~/cfg$ git commit -a -m "Update permissions"

gerrit@gerrit:~/cfg$ git push origin HEAD:refs/meta/config

gerrit@gerrit:~$ rm -rf cfg/

b)  Verified 功能设置

现在提交的 Review 请求只有 Code Rivew 审核,我们要求的是需要 Jenkins 的 Verified 和 Code Review 双重保障,在 Projects 的 Access 栏里,针对 Reference: refs/heads/ 项添加 Verified 功能:

l  Projects -> List -> All-Projects

l  Projects -> Access -> Edit -> 找到 Reference: refs/heads/* 项

l  -> Add Permission -> Label Verified -> Group Name 里输入 Non-Interactive Users -> 回车 或者 点击Add 按钮 -> 在最下面点击 Save Changes 保存更改

1.2.6. 注意

如果想 Gitlab 上创建的项目使用 Gerrit 的 Code Review 功能,两个系统的用户必须统一,也就是说不管哪个用户使用 Gerrit,前提是这个用户在 Gitlab 和 Gerrit 上都已注册,邮箱一致、sshkey 一致。

1.2.7 遇到问题

  • Error Missing project All-Projects

重装java -jar gerrit.war init -d /home/gerrit/gerrit_dir

注意: 如果重新初始化了gerrit,并且版本库路径与以前的一样,记得删除版本看路径下的All-projects.git 这个目录, 不然第一个用户登录失败,无法获取超级管理员权限

  • Unable to authenticate user by Authorization request header. Check container or server configuration

问题原因:由于版本库下有子目录,通过nginx代理是指定的目录不正确导致 把 proxy_pass http://192.168.0.122:8090/; 改为 proxy_pass http://192.168.0.122:8090; ##不要最后的斜杠

  • com.google.gerrit.httpd.auth.container.HttpLoginServlet : Unable to authenticate user by Authorization request header.  Check container or server configuration.

注意: 邮箱验证的时候,使用nginx提供的端口进入,不要直接使用gerrit的端口进入验证

测试这里是使用8082端口,不要访问8081端口

  • 使用nginx 用户验证的方式,无法使用sign out , gerrit 无法调用nginx

1.3. Jenkins

1.3.1 简介

Jenkins是一个开源软件项目,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。

1.3.2. 环境搭建

a) Install Jenkins

wget -q -O - https://jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add -

sudo sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list'

sudo apt-get update

sudo apt-get install jenkins

b) Starting Jenkins

sudo nohup java -jar /usr/share/jenkins/jenkins.war > /var/log/jenkins_log 2>&1 &

c) 开启

http://xxxxx:8080/

d) 插件安装

Git Plugin

SSH Plugin

URL Trigger Plugin

Gerrit Trigger Plugin

e) 注册用户

先开启用户注册按钮,用户注册完毕以后,关闭用户注册

gitlab+gerrit+jenkins持续集成框架

Gerrit Trigger

1.3.2.  Gerrit Verified支持

1.3.2.1.  Gerrit Triggle插件配置

a) 安装gerrit triggle插件

Gerrit Triggle 配置文档 https://wiki.jenkins-ci.org/display/JENKINS/Gerrit+Trigger

b) 设置Gerrit Trigger

主页面->Manage Jenkins->Gerrit Trigger->Add New Server

Add New Server : Check4Gerrit

勾选 Gerrit Server With Default Configurations

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

c) 填写gerrit的jenkins账户信息,并测试

如果点击Test Connection后出现如图所示的错误User jenkins has no capability to connect to Gerrit event stream.,这是因为因Jenkins 没有权限监听 ,参考Gerrit 的 ‘Stream Events’配置

gitlab+gerrit+jenkins持续集成框架

d) Gerrit Triggle设置成功

gitlab+gerrit+jenkins持续集成框架

e) Gerrit Triggle重启保证状态正常

gitlab+gerrit+jenkins持续集成框架

1.3.2.1.  Verified项目配置

只要gerrit有提交代码,jenkins都能检测到,并verified代码正确性,然后把结果告诉gerrit

a) Jenkins上创建test项目

用 jenkins 登录http://10.24.6.12:8080/

gitlab+gerrit+jenkins持续集成框架

b) Git页面设置

参考文档https://wiki.jenkins-ci.org/display/JENKINS/Gerrit+Trigger

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

c) Build页面设置

Add build step -> Execute shell

cd $WORKSPACE 

[ ! -e .testrepository ] && testr init 

testr run

此处测试代码可依据项目情况而定,可为空

gitlab+gerrit+jenkins持续集成框架

1.3.2. 邮件支持

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

邮件发送测试

gitlab+gerrit+jenkins持续集成框架

1.4.  Git 客户端 review支持

需要安装git-review, readline

Apt-get install git-review

Linux :pip install readline

Windows:pip install pyreadline

gitlab+gerrit+jenkins持续集成框架

1.5.  Review+Test+Push实例

1.5.1. 流程

a) 下载项目

git clone http://10.24.6.8/root/test.git

cd test

b) 设置添加change_id钩子

增加一个hook, 自动增加chang_id到提交日志里面,必须

gitdir=$(git rev-parse --git-dir); scp -p -P 29418 test1@10.24.6.12:hooks/commit-msg${gitdir}/hooks/

c) 改变代码:

vim t99.txt

d) 上传代码:

git add .

注意使用amend进行提交changid

git commit –amend

e) 在gerrit上看到提交

gitlab+gerrit+jenkins持续集成框架

f) Jenkins 自动获取提交信息并判断是否verified

gitlab+gerrit+jenkins持续集成框架

gitlab+gerrit+jenkins持续集成框架

g) 在gerrit上添加review成员

gitlab+gerrit+jenkins持续集成框架

h) REVIEW成员收到邮件

gitlab+gerrit+jenkins持续集成框架

i) REVIEW 人员登陆处理

gitlab+gerrit+jenkins持续集成框架

j) admin点击CodeReview2

gitlab+gerrit+jenkins持续集成框架

k) Jenkins自动点击,然后submit

gitlab+gerrit+jenkins持续集成框架

l) GitLab 显示commit记录

gitlab+gerrit+jenkins持续集成框架

m) 邮件通知REVIEW人员说明

gitlab+gerrit+jenkins持续集成框架

n) REVIEW 提交者收到消息

gitlab+gerrit+jenkins持续集成框架

1.5.2. 遇到问题

a) 设置git提交的默认编辑器为vim

If you want to set the editor only for Git, do either (you don’t need both):

    • Set  core.editor  in your Git config: git config --global core.editor "vim"
    • Set the  GIT_EDITOR  environment variable: export GIT_EDITOR=vim

b) missing Change-Id in commit message footer

需要安装插件,并使用git commit –amend提交代码,看截图部分

gitlab+gerrit+jenkins持续集成框架

c) GIT REVIEW remote rejected for change closed

remote: Processing changes: refs: 1, done
To ssh://xxxxx@gerrit.dev.xxxxx.net:29418/xxxxxx
! [remote rejected] HEAD -> refs/for/master (change 14823 closed)
error: failed to push some refs to 'ssh://xxxxx@gerrit.dev.xxxxx.net:29418/xxxxxx'
                原因是注释和之前提交的一样,并且已经被closed
                使用git commit –amend修改注释

d) git rebase –continue Bug for need merge

gitlab+gerrit+jenkins持续集成框架

例如冲突文件为foo.c

使用git-svn rebase获取svn服务器上的最新文件,导致冲突,

不过此时svn版本信息已经添加到本地git库中(通过git log可以查看)

打开foo.c,修改代码,解决冲突;

执行git rebase --continue,git提示我:

You must edit all merge conflicts and then

mark them as resolved using git add

执行git add foo.c,告知git已完成冲突解决;

再次执行git rebase --continue,提示"Applying: git v1",此时"git v1"版本又一次成功加入本地版本库,你可通过git log查看;

执行git-svn dcommit将foo.c的改动同步到svn中心库,到此算是完成一次冲突解决。

git比较智能,会提示你解决问题的方法,所以遇到问题时注意看提示文档。


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页