jenkins-gitlib 安装使用流程

最新推荐文章于 2024-08-22 08:49:14 发布

Michaelwubo

最新推荐文章于 2024-08-22 08:49:14 发布

阅读量3.6k

点赞数

本文链接：https://blog.csdn.net/Michaelwubo/article/details/52130446

版权

系统的工作流程大概分为以下几步:

1> 开发者将新版本push到git server (Gitlab)。

2> Gitlab随后触发jenkins master结点进行一次build。(通过web hook或者定时检测)

3> jenkins master结点将这个build任务分配给若干个注册的slave结点中的一个，这个slave结点根据一个事先设置好的脚本进行build。这个脚本可以做的事情很多，比如编译，测试，生成测试报告等等。这些原本需要手动完成的任务都可以交给jenkins来做。

4> 我们在build中要进行编译，这里使用了分布式编译器distcc来加快编译速度。

notes

jenkins的工作原理是先将源代码从gitlab中拷贝一份到本地，然后根据设置的脚本进行build。我们可以看出，整个系统的关键就是那个build脚本，用来告诉jenkins在一次集成中需要执行的任务。

2.Jenkins的安装与配置

1> 安装Jenkins

首先说如何安装 jenkins ，一定要安装最新版本才不会出各种奇怪的问题，参考官网wiki, Installing Jenkins on Ubuntu 上的指示，

$ wget -q -O - http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add -$ sudo sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list'$ sudo apt-get update$ sudo apt-get install jenkins

即可以得到最新版的jenkins。

Jenkins安装完毕后，可以通过浏览器访问其Dashboard，例如192.168.16.183：8080，IP地址即为Jenkins所在机器的IP地址。

2> Jenkins插件安装

Jenkins其实没有什么需要特别配置的，由于这次任务中需要利用Jenkins与git，gitlab协作，所以需要安装一些插件。在主面板上点击Manage Jenkins -> Manage Plugins。

由于公司使用代理连接外网，首先需要为Jenkins插件安装配置proxy。点击Advanced标签即进入proxy设置页面。

Aailable标签下就是可以安装的插件。

要让Jenkins可以自动build git repo中的代码，需要安装GIT Client Plugin和GIT Plugin。

要想Jenkins可以收到Gitlab发来的hook从而自动build，需要安装 Gitlab Hook Plugin。

要让Jenkins可以在build完成之后根据TAP（test anything protocol）文件生成graph，需要安装 TAP Plugin。

3> Jenkins Job

我们尝试新建一个Jenkins Job，必须填的内容不是很多，而且每一项后面都有意一个问号，点击后会有关于这项的一些提示。

（1）首先是Project name；

（2）然后在Source Code Management 中选择Git，我们只需要提供Repository URL即可，这个URL可以是Jenkins机器上的一个本地repo，例如/home/woody/repo；也可以是一个远程机器上的repo，例如Gitlab上通过ssh连接的repo： git@192.168.16.194:user/test_gitlab_repo.git

注意，我们需要在Jenkins机器上设置Git username 和 email，不然后面会build不成功。

（3）下面需要在Build中选择Add build step，这里以最熟悉的shell为例，选择Execute shell。Jenkins的工作原理很简单，就是从刚才的Repository URL里clone到当前的一个workspace中并切换到最新的branch然后执行Execute shell中的command，如果每条command都返回0则build成功，否则则算失败。所以我们的shell command可以是简单的编译指令例如：

#!/bin/shmake

（这需要你的git repo中有一个makfile）

也可以执行repo中的另一个脚本，例如

#!/bin/shperl test.pl

甚至可以什么都不做，或者是只输入一些字符。

（4）接下来我们需要设置一个触发选项，在Build Triggers中，Jenkins提供三个选择

Build after other projects are built 顾名思义

Build periodically 周期性地build

Poll SCM 周期性的检测SCM（如Git）中是否有新的提交，如果有则build

选择后面两项我们都需要在Schedule中设置周期，点击后面的问号可以查看的设置周期的语法。

到这一步结束后我们就可以Save配置了，可以在面板中点击Build Now看看是否可以正常工作。在下面的Build History中有该Job的所有build历史，点击任意一条进去后可以进行查看，特别说明可以在Console Output中看到执行这次build时控制台的输出信息。

（5）如果安装了TAP Plugin，我们还可以配置Job在build完成后根据TAP result生成一副Graph例如下图：

figure_2

这幅图显示了每次build中成功与失败次数的走势。

想要得到这张图的话，需要在Configure的Post-build Action中选择Add post-build action -> Publish TAP result。然后在test result 中输入你的TAP result文件的路径，例如tap.tap指的就是当前文件下的tap.tap文件。也就是说在你的Execute Shell中，你需要在编译完成后根据结果自己生成一个TAP文件，TAP的语法可以参考Jenkins TAP Plugin的说明。

4> 搭建Jenkins Master - Slaves 架构

我们在配置Jenkins时，有一个# of executors 选项，这项代表了Jenkins可以同时处理的Job的数量。

Jenkins还支持将Job分给Slave处理的功能。这就需要我们为Jenkins配置一些Slaves。

在Dashboard中点击 Mamage Jenkins -> Manage Nodes -> New Node

然后输入Node name 并选择Dumb Slave 点击OK后进入配置页面。需要填的内容如下图所示：

figure_3

# of executors指的是该slave上允许同时处理的job数量；其他选项也都顾名思义，我们这里选择用SSH的方式进行连接，Host即为Slave的IP地址。

Slave上不需要安装Jenkins，只需要安装java环境和git即可：

$ sudo aptitude install default-jre$ sudo aptitude install git

还需要为slave的jenkins用户配置git user.name & user.email

这里需要说明一个地方，Jenkins在工作时是利用一个名为jenkins的用户登入机器的。

在master节点上，安装Jenkins时自动为系统添加了一个名为jenkins的用户，由于slave机器上不需要安装jenkins，所以我们需要在slave机器上手动添加一个名为jenkins的用户。而且Jenkins master只能通过不用输入密码的SSH方式连接slave，需要在master上用jenkins用户生成一对ssh密钥，并把公钥加入slave机器上jenkins用户的用户目录里.ssh/authorized_keys中。

注意，没有密码的用户在ubuntu下可能切换不成功，我们用下面的方法：

$ sudo su jenkins$ bash

3.Gitlab的安装与配置

Gitlab的功能和Github差不多，都是作为git server。

Gitlab是开源的，我们可以利用Gitlab搭建自己私有的git server。

我们可以在bitnami上下载 Gitlab 。

公司有现成的Gitlab，所以我没有尝试Gitlab的安装，看上去成功安装并不容易。

为了测试，还是在虚拟机环境下配置了Gitlab，直接下载了Virtual Machine镜像，由于镜像是Vmware的，还需要将其转为Virtual Box镜像，方法参见http://wiki.bitnami.com/Virtual_Appliances_Quick_Start_Guide。

在虚拟机上跑起来后，发现是一个没有GUI的ubuntu。。。系统用户名和密码都是bitnami。

我们还可以通过访问其IP地址登入Gitlab，初始用户名为user，密码为bitnami，看上去和github很象。

由于在这次任务中Jenkins需要从Gitlab中获取文件并build，所以我们需要在Gitlab的工程中设置一些东西。

首先是settings -> Deploy Keys, 这里需要加入Jenkins所在机器jenkins用户的公钥。

如果Jenkins中使用slave，还需要将slave的公钥加入deloy keys中。因为slave的工作原理是收到master的指示直接clone repository。

然后是一个叫Web Hooks的东东。还记得我们在Jenkins中安装过Gitlab Hook Plugin么，如果设置了Web Hooks，Gitlab就会在每次push上来后发送一条消息到指定的地址（即hook的地址），Jenkins Gitlab Hook Plugin收到消息后立即build。

不过我按照Gitlab Hook Plugin的说明设置里hooks后并没有什么作用，可能是那个插件的bug吧。。

后来大哥告诉我一个巧妙的办法，就是将Jenkins Job里的build now连接作为hook地址，例如http://192.168.16.183:8080/job/test_gitlab/build?delay=0sec

这样每次Gitlab收到push后就会促使Jenkins立即build。

4.distcc的安装与配置

distcc是一个分布式的编译器，他可以将编译任务分配给多个其他机器上的destccd-daemon，从而加速编译过程。

1> 安装

ubuntu下distcc很容易安装

$ sudo aptitude install distcc

2> 配置

distcc分为前端和守护进程，前端的用法和gcc差不多，用来编译源代码文件。

守护进程即distcc-daemon，需要一些配置。

守护进程的配置文件在 /etc/default/distcc 中，

$ sudo vim /etc/default/distccSTARTDISTCC="true"                 //这项允许distccd启动ALLOWEDNETS=“192.168.16.0/24”  //这项指出里允许那些IP的distcc连接上来， /24指的是子网掩码前24位为1，后面为0，即代表192.168.16.0 ～ 192.168.16.255LISTENER=“192.168.16.183”      //这项应该填本机的IP地址，即需要监听的IP地址ZEROCONF = “false”             //这项指出不开启zeroconf，我们先讲不开启zeroconf，后面再讨论使用它的情况

这样一个distccd就配置完成了。

通过以下命令可以开启和停止distccd

$ sudo service distcc start$ sudo service distcc stop

在进行编译前，因为distccd都没有开启zeroconf，所以distcc无法知道有哪些host可供使用，所以这里需要在环境变量中加入，例如

export DISTCC_HOSTS="192.168.16.183 192.168.16.198"

使用下面的命令可以查看hosts是否配置成功。

$ distcc --show-hosts

然后就可以使用distcc进行分布式编译，例如编译linux kernel，

$ make CC=distcc

下面讲当我们为distccd开启ZEROCONF时即配置

ZEROCONF=“true”

这就说明distcc可以不需要手动配置hosts地址即可以发现可用的hosts，具体原理不是很清楚，反正用命令

$ distcc --show-hosts

可以看到distccd的地址。

但是这里貌似对IPv6的解析上有一个bug，百度里一下说需要关闭avahi的IPv6

编辑 /etc/avahi/avahi-daemon.conf

修改以下内容

use-ipv6=no

即可。

然后还需要在调用distcc的用户的环境变量中加入

export DISTCC_HOSTS="+zeroconf"

我们还可以在调用distcc的用户中用以下命令查看编译的进度

$ distccmom-text 5

gitlab push 触发 Jenkins Job

配置后的效果：

向分支push后自动触发jenkins job
jenkins job 成功执行后为当前的commit添加一个标签，方便以后进行线上回滚

需要安装的插件：

Gitlab Hook Plugin
GitLab Plugin

Jenkins Job 的设置

设置源代码仓库

首先在Jenkins创建一个job，在“源码管理”中指定git并设置URL。在 Branch Specifier 中填写 */dev* 表示只有dev开头的分支有push操作的时候才会触发这个job。设置中的“Repository URL”是gitlab中SSH方式的URL，如下：

设置触发器：这里 Build when a change is pushed to GitLab. GitLab CI Service URL 的值后面需要填写到gitlab的push hook中

在“Credentials”中添加一个用户的认证方式，这里我们选择ssh key的方式：

配置build成功以后在gitlab上打标签

首先在源代码管理中为这个仓库起一个名字：创建一个构建后的操作“GIT Publisher”, 在 Target remote name 中填写仓库的名字。TAG的名称可以引用Jenkins的环境变量，如 B$BUILD_NUMBER

GitLab 设置

设置jeknins用户的权限

在gitlab项目中，将jenkins的公钥添加到当前项目master用户中。如果不需要构建成功后打标签的话可以在deploy key 中添加jenkins的公钥。

jenkins在给git分支打标签的时候会进行push操作，而deploy key只有可读的权限。

设置push hook

在这里添加一个push的webhook，URL为jenkins job触发器配置中 Build when a change is pushed to GitLab. GitLab CI Service URL 对应的值

http://channingbj.github.io/cicd/2015/08/15/gitlab-jenkins/

一：jenkins是什么

jenkins是一个广泛用于持续构建的可视化web工具，持续构建说得更直白点，就是各种项目的"自动化"编译、打包、分发部署。jenkins可以很好的支持各种语言（比如：java, c#, php等）的项目构建，也完全兼容ant、maven、gradle等多种第三方构建工具，同时跟svn、git能无缝集成，也支持直接与知名源代码托管网站，比如github、bitbucket直接集成

二：安装篇

有两种安装方式：

1、yum install安装方式，除了直接java -jar jenkins.war方式，还可以用yum安装，这种方式下提供了更多的可配置选项，更适合生产环境控制jenkins的行为。

1.1

sudo yum update -y (可选)

 
  sudo 
   wget -O  
  /etc/yum 
  .repos.d 
  /jenkins 
  .repo http: 
  //pkg 
  .jenkins-ci.org 
  /redhat/jenkins 
  .repo 
 
  sudo 
   rpm -- 
  import 
   http: 
  //pkg 
  .jenkins-ci.org 
  /redhat/jenkins-ci 
  .org.key 
 
  yum  
  install 
  deltarpm (可选) 
 
  sudo 
   yum  
  install 
  jenkins 
 
1.2
安装完成后，可用 
 
     1.2.1、sudo 
     service jenkins start 
     /stop/restart 
    
     1.2.2、sudo 
     vi 
     /etc/rc 
     .d 
     /init 
     .d 
     /jenkins 设置端口，java路径，war位置等 
    
     2、java -jar jenkins.war  
    
     直接从 
     http://mirrors.jenkins-ci.org/war/latest/jenkins.war  
     下载最新的war包，然后解压到某个固定目录就算安装完成了，非常方便。 
    
启动方法： java -jar jenkins.war 即可，如果要以后台进程的方式启动，改成nohup java -jar jenkins.war & 即可，启动过程中，它会将war包解压到~/.jenkins目录下，并生成一些目录及配置文件，有兴趣的同学可以自己进入这个目录研究一下。
 
     三：配置篇 
   
     1、安装插件 
   
    gitlib集成需要git相关插件