使用Jenkins+Sonarqueb进行自动化测试和代码质量检测

阿里云云栖号

于 2018-03-23 15:58:42 发布

阅读量3.9k

点赞数 2

文章标签：数据源码下载配置安装

本文链接：https://blog.csdn.net/yunqiinsight/article/details/80134240

版权

摘要： Jenkins Jenkins是一款开源的持续集成工具，它的特点：易于安装、易于配置、可扩展（自己开发插件），并且它拥有数以百计的成熟插件，这种插件式的特点提供可做任何事情的可能。

简介

Jenkins

Jenkins是一款开源的持续集成工具，它的特点：易于安装、易于配置、可扩展（自己开发插件），并且它拥有数以百计的成熟插件，这种插件式的特点提供可做任何事情的可能。

Sonarqube

SonarQube 是一个用于代码质量管理的开源平台。通过插件形式，可以支持包括 java, Objective-C, Swift, C#, C/C++, PL/SQL,JavaScript 等等二十几种编程语言的代码质量管理与检测。

图片描述

SonarQueb主要从以下7个维度检测评估代码质量：

1.糟糕的复杂度分布

文件、类、方法等，如果复杂度过高将难以改变，这会使得开发人员难以理解它们，
且如果没有自动化的单元测试，对于程序中的任何组件的改变都将可能导致需要全面的回归测试

2.重复

显然程序中包含大量复制粘贴的代码是质量低下的
sonar可以展示源码中重复严重的地方

3.缺乏单元测试

sonar可以很方便地统计并展示单元测试覆盖率及测试结果统计

4.没有代码标准

sonar可以通过oclint,PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写

5.没有足够的或者过多的注释

没有注释将使代码可读性变差，特别是当不可避免地出现人员变动时，程序的可读性将大幅下降
而过多的注释又会使得开发人员将精力过多地花费在阅读注释上，亦违背初衷

6.潜在的bug

sonar可以通过oclint,PMD,CheckStyle,Findbugs等等代码规则检测工具检测出潜在的bug

7.糟糕的设计（原文Spaghetti Design，意大利面式设计）

通过sonar可以找出循环，展示包与包、类与类之间的相互依赖关系
可以检测自定义的架构规则
通过sonar可以管理第三方的jar包
可以利用LCOM4检测单个任务规则的应用情况
检测耦合

图片描述

安装

jenkins

1.brew install jenkins
2.按提示安装java 1.8
3.brew services jenkins start or jenkins –httpPort=9002
4.安装相关插件

Folders Plugin
Build timeout plugin
Workspace Cleanup Plugin
Ant Plugin
Gradle Plugin
Pipeline
Github Organization Folders Plugin
Pipeline Stage View Plugin
Git Plugin
Subversion Plug-in
SSH Slaves plugin
LDAP Plugin
Email Extension Plugin
Gitlab Plugin

注意事项

gitlab plugin 1.5.3有问题，需要降级到1.5.1

卸妆1.5.3，然后通过上传1.5.1的gitlab-plugin.hpi文件的方式安装

jenkins默认使用8080端口，默认端口跟gitlab ci配置web hook会导致失败，建议换个端口尝试：

jenkins —-httpPort=9002

Sonarqube

下载
从http://downloads.sonarsource.com/sonarqube/下载sonarqube，下载后解压到相应地址，比如/opt

配置环境变量

配置SONAR_HOME环境变量，如上一步中的/opt/sonarqube

mysql建库

sonarqube需要将扫描结果保存到数据库中，所以需要创建数据库表格。sonarqube支持
SQL Server、Mysql、Oracle、PostgreSQL，此处以MySql为例。

如果尚未安装mysql，可以通过Homebrew进行安装，安装完成后，创建对应的账号和数
据库：

CREATE USER 'sonar'@'%' IDENTIFIED BY 'sonar';
GRANT all privileges ON sonar.* TO 'sonar'@'%' IDENTIFIED BY 'sonar';
flush privileges;
create database sonar;

通过以上指令创建了一个sonar用户，同时创建了一个名为sonar的数据库。

修改/opt/sonarqube/conf/sonar.properties文件，将相关属性按如下设置：

sonar.web.host=0.0.0.0
sonar.web.port=9000
sonar.jdbc.username=sonar
sonar.jdbc.password=sonar
sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false
#sonar.web.context=/your_prefix  //非必须，若需要在访问sonarqube服务时加上统一的前缀则配置此项

start sonarqube

/opt/sonarqube/bin/macosx-universal-64/sonar.sh start

download sonar scanner

https://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner

objective-c plugin

github: https://github.com/Backelite/sonar-objective-c

clone后进入主目录, 执行脚本：./build-and-deploy.sh

把编译生成的backelite-sonar-objective-c-plugin-0.6.2.jar文件拷贝到/opt/sonarqube/extensions/plugins目录。

最后重启Sonarqube

1.Prerequisites

Installation of xcpretty with JUnit reports fix

xcpretty需要安装fixed version，才能配合Sonarqube工作。

git clone https://github.com/Backelite/xcpretty.git
cd xcpretty
git checkout fix/duration_of_failed_tests_workaround
gem build xcpretty.gemspec
sudo gem install –both xcpretty-0.2.2.gem

install xctool
brew install xctool
install oclint
brew tap oclint/formulae
brew install oclint
install gcovr
brew install gcovr
install slather

gem install slather

如果报错：no implicit conversion of nil into string

sudo gem update –system

如果提示：no write permissions

sudo gem install /usr/local/bin slather

install lizard

sudo pip install lizard

如果没有安装pip，下载<https: bootstrap.pypa.io="" get-pip.py="">

chmod +x get-pip.py
sudo python get-pip.py

演示一个示例代码工程的例子

代码工程的配置

sonar-project.properties

下载上面sonar-objective-c github工程sample目录下的sonar-project.properties文件，拷贝到示例代码工程目录，按照对应的设置进行修改

run-sonar.sh

拷贝该文件到代码工程目录

jenkins配置

在管理jenkins->系统设置->gitlab下配置gitlab连接
图片描述

在Gitlab host url处设置gitlab的url，然后在creadential处点击add。

创建一个Gitlab API token，然后在API token处填入gitlab上的token：

图片描述

创建工程

构建一个自由风格的软件项目,然后在源码管理处，选择git，然后进行如下配置：

图片描述

在Repository URL处填入对应工程的URL，注意，因为后续工程check是通过ssh方式接入的，所以填写的URL一定是ssh URL：

图片描述

然后在Branch Specifier处填入要关注的分支。

然后在Credentials处点击add，配置ssh秘钥：

图片描述

选择SSH Username with private key，然后在username处填入gitlab账号，然后private key可以选择Enter directly,直接输入秘钥，将~/.ssh/id_rsa文件中的内容直接拷贝即可。注意，此处必须保证该私钥对应的公钥（即 id_rsa.pub）必须配置在gitlab上，否则会失败, 配置完成后点击Add。

然后在Credentials处选择刚才创建的credential即可，如果配置成功不会有报错信息，否则会有相关的错误信息。

其他的配置可以根据实际情况进行配置，配置完成后点击保存即创建完成。

配置SonarQube servers

在管理jenkins->全局配置页面下，找到SonarQube servers，配置sonarqube server相关信息:

图片描述

其中Server authentication token可在SonarQube网站，个人账号管理下的security处进行生成：

图片描述

增加SonarScanner构建步骤

点击jenkins里出现的示例工程名 –> Configure –> Build (Add build step)，

增加一个Execute shell构建步骤：
图片描述

Command内容为：

 用户目录/.bashrc              # 加载需要的环境变量
./run-sonar.sh -v               # 生成数据并传递给SonarQube Server

Build工程并显示生成的数据

图片描述

报告生成流程分析

Bugs、Velnerabilities、Code Smells

对于Objective-C语言，是通过oclint静态扫描工程代码来生成相关数据。

图片描述

单元测试

利用xcodebuild命令运行虚拟机进行单元测试，然后把输出结果数据生成报告。

覆盖率

利用slather工具生成数据报告。

图片描述

功能探讨

目前针对objective-c语言，利用上面提到的objective-c插件，只支持1个Bug和186个Code Smells，Bug和Vulnerability支持的不够。

由于SonarQube并不是完全开源，对于objective-c，它有商业版的插件，如果想要把Bug、Vulnerability支持的好的话，就必须得自定义相关规则，并提供SonarQube支持。

因此研究了一下如何自定义规则并得到SonarQube支持，步骤如下：

1.修改oclint源码，添加自定义规则
2.修改sonar-objectivec插件源码，添加自定义规则
3.构建代码工程，检测自定义规则，生成显示数据

oclint添加自定义规则

下载oclint源码，地址：https://github.com/oclint/oclint

进入代码主目录，利用脚手架脚本生成自定义规则模版文件:

oclint-scripts/scaffoldRule TestRule -t ASTVisitor
对生成的TestRule.cpp文件进行编辑，实现自定义规则逻辑。

最后编译整个工程：

cd oclint-scripts
./make

用生成的oclint程序对测试代码进行测试：

./build/oclint-release/bin/oclint -report-type pmd -o test.xml 测试代码目录/测试文件.m

sonar-objectivec插件支持自定义规则

SonarQube服务端程序利用插件识别规则，并写入数据库，所以插件代码也需要进行修改。

下载插件源码，地址：https://github.com/Backelite/sonar-objective-c.git

需要修改如下3个文件：

1.src/main/resources/com/sonar/sqale/oclint-model.xml
2.src/main/resources/org/sonar/plugins/oclint/profile-oclint.xml
3.src/main/resources/org/sonar/plugins/oclint/rules.txt
然后编译插件：