jenkins中添加sonnarqube与OWASP Dependency-Check

已于 2023-09-22 16:42:49 修改
阅读量1k 收藏 3
点赞数 2
文章标签： jenkins sonarqube owsap
于 2023-09-20 16:47:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48190891/article/details/133082137
版权

前言

jenkins

jenkins离线插件地址：
http://updates.jenkins-ci.org/download/plugins
https://updates.jenkins.io/download/plugins           
https://mirrors.tuna.tsinghua.edu.cn/jenkins/plugins   国内

linux 安装jdk11 文档：
https://blog.51cto.com/u_16175449/6648723

k8s中安装sonarqube

简介：

https://www.sonarsource.com/products/sonarqube/deployment/ 最新版镜像下载地址

注意这个是内置数据库的，内嵌数据库只能用于测试场景，内嵌数据库无法扩展，也无法升级到新版本的SonarQube，并且不能支持将你的数据迁移至其他数据库引擎

其中Community Edition (社区版) 免费的
在这里插入图片描述
我是在docker官方镜像找的lts镜像下载的lts版：
在这里插入图片描述
https://www.sonarsource.com/products/sonarqube/downloads/ 其他版本下载地址
在这里插入图片描述

Helm 方式

目前只支持Helm v3
此链接对应这k8s支持的版本号：
https://artifacthub.io/packages/helm/sonarqube/sonarqube-dce/10.0.0+521
在这里插入图片描述
官方部署文档参考，目前社区版不支持集群的方式：

https://docs.sonarsource.com/sonarqube/latest/setup-and-upgrade/deploy-on-kubernetes/deploy-sonarqube-on-kubernetes/

helm repo add sonarqube https://SonarSource.github.io/helm-chart-sonarqube
helm repo update
kubectl create namespace sonarqube
helm upgrade --install -n sonarqube sonarqube sonarqube/sonarqube

Yml方式

1.新版本7.9之后已经不再支持myql数据库，所以我们换成PostgreSQL
2.需要在k8s中准备一个strageclss(后端可以是nfs、ceph、juicefs、clusterfs)

[root@k8s-master01 ~]# kubectl get sc
NAME                   PROVISIONER       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
juicefs-sc (default)   csi.juicefs.com   Delete          Immediate           false                  7d4h

1.安装PostgreSQL

apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgres-sonar
  labels:
    app: postgres-sonar
spec:
  replicas: 1
  selector:
    matchLabels:
      app: postgres-sonar
  template:
    metadata:
      labels:
        app: postgres-sonar
    spec:
      containers:
      - name: postgres-sonar
        image: postgres:11.4
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 5432
        env:                       #变量代入
        - name: POSTGRES_DB
          value: "sonarDB"         #库名
        - name: POSTGRES_USER
          value: "sonarUser"       #账号
        - name: POSTGRES_PASSWORD 
          value: "123456"          #密码
        resources:
          limits:
            cpu: 1000m
            memory: 2048Mi
          requests:
            cpu: 500m
            memory: 1024Mi
        volumeMounts:
          - name: data
            mountPath: /var/lib/postgresql/data  #挂载路径
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: postgres-data

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: postgres-data 
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: "juicefs-sc"   #storageClass名称
  resources:
    requests:
      storage: 1Gi

---
apiVersion: v1
kind: Service
metadata:
  name: postgres-sonar
  labels:
    app: postgres-sonar
spec:
  clusterIP: None              #无头服务
  ports:
  - port: 5432
    protocol: TCP
    targetPort: 5432
  selector:
    app: postgres-sonar


上面的yaml中，我们使用的storageClassName: "juicefs-sc"
并且使用了无头服务（仅集群使用），可以改成nodeport（可对外提供服务）

2.安装sonarqube

因为安装的是社区版，数据库是内嵌的，所以提示只作用于测试，且不能升级
而社区版只有sonarqube:lts-community 这个版本的镜像是最稳定且外嵌数据库的

下列yml中，nodePort: 30003 需要自行修改为集群中未被占用端口

[root@k8s-master01 sonarkube]# cat sonarkube.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sonarqube
  labels:
    app: sonarqube
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sonarqube
  template:
    metadata:
      labels:
        app: sonarqube
    spec:
      initContainers:
      - name: init-sysctl
        image: busybox
        imagePullPolicy: IfNotPresent
        command: ["sysctl", "-w", "vm.max_map_count=262144"]
        securityContext:
          privileged: true
      containers:
      - name: sonarqube
        image: sonarqube:lts-community
        ports:
        - containerPort: 9000
        env:
        - name: SONARQUBE_JDBC_USERNAME
          value: "sonarUser"
        - name: SONARQUBE_JDBC_PASSWORD
          value: "123456"
        - name: SONARQUBE_JDBC_URL
          value: "jdbc:postgresql://postgres-sonar:5432/sonarDB"  #链接上面的pg,用无头服务的方式
        livenessProbe:
          httpGet:
            path: /sessions/new
            port: 9000
          initialDelaySeconds: 60
          periodSeconds: 30
        readinessProbe:
          httpGet:
            path: /sessions/new
            port: 9000
          initialDelaySeconds: 60
          periodSeconds: 30
          failureThreshold: 6
        resources:
          limits:
            cpu: 2000m
            memory: 2048Mi
          requests:
            cpu: 1000m
            memory: 1024Mi
        volumeMounts:
        - mountPath: /opt/sonarqube/conf
          name: data
          subPath: conf
        - mountPath: /opt/sonarqube/data
          name: data
          subPath: data
        - mountPath: /opt/sonarqube/extensions
          name: data
          subPath: extensions
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: sonarqube-data  

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: sonarqube-data 
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: "juicefs-sc"
  resources:
    requests:
      storage: 20Gi

---
apiVersion: v1
kind: Service
metadata:
  name: sonarqube
  labels:
    app: sonarqube
spec:
  type: NodePort
  ports:
    - name: sonarqube
      port: 9000
      targetPort: 9000
      nodePort: 30003   
      protocol: TCP
  selector:
    app: sonarqube

创建成功后查看pvc

存储大小可以在上面的yml中自行调整，我测试给的比较小

[root@k8s-master01 sonarkube]# kubectl get pvc
NAME            STATUS   VOLUME           CAPACITY                  ACCESS MODES  STORAGECLASS   AGE
postgres-data   Bound    pvc-0e3885a1-a4bc-4a8d-aac0-87d1ed62ab56   1Gi     RWX   juicefs-sc     89m
sonarqube-data  Bound    pvc-88544679-f7b8-4db4-8545-c012f5d0cfe7   20Gi    RWX   juicefs-sc     83m

登录Sonarqube

admin/admin  端口30003

在这里插入图片描述
安装中文插件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

生成key并记录key

在这里插入图片描述

Jenkins+SonarQube代码审查

在这里插入图片描述

安装SonarQube Scanner插件

在这里插入图片描述
在这里插入图片描述

在全局工具中配置sonarqube

在这里插入图片描述
在这里插入图片描述
这里需要注意，并不是安装最新版，这个版本需要知道你目前安装jenkins时的java版本，我这里用的java11,所以需要去安装java11支持的sonarqube版本，不然会报以下错误
在这里插入图片描述

jenkins中sonarqube scanner 对应的jdk版本：
https://docs.sonarsource.com/sonarqube/9.9/analyzing-source-code/scanners/sonarscanner/

在这里插入图片描述
在这里插入图片描述
可以看到为4.8，所以我们安装4.8的版本
在这里插入图片描述

添加SonarQube凭证

在这里插入图片描述

在这里插入图片描述

Jenkins进行SonarQube配置

在这里插入图片描述

在项目中添加sonarqube检查

以自由风格为例：打开test01
在这里插入图片描述
在这里插入图片描述

# must be unique in a given SonarQube instance 
sonar.projectKey=web_demo_freestyle
# this is the name and version displayed in the SonarQube UI. Was mandatory prior to SonarQube 6.1.
sonar.projectName=web_demo_freestyle 
sonar.projectVersion=1.0

# Path is relative to the sonar-project.properties file. Replace "\" by "/" on Windows.
# This property is optional if sonar.modules is set. 
sonar.sources=. 
sonar.java.binaries=.
sonar.exclusions=**/test/**,**/target/**

sonar.java.source=11 
sonar.java.target=11

# Encoding of the source code. Default is default system encoding 
sonar.sourceEncoding=UTF-8

常用基础配置解释

sonar.projectKey=gpcore                       #sonar平台中相对应项目的key
sonar.projectName=gpcore                      #sonar平台中相对应项目的名字
sonar.sources=.                               #sonar检测的源文件目录，‘.’表示当前根目录下的所有文件目录;包含主要源文件的目录的逗号分隔路径
sonar.exclusions=**/*_test.go,**/vendor/**    #检测中排除的源文件（排除的源文件不参与检测，一般排除单元测试文件、配置文件等）
sonar.tests=.                                 #sonar检测的测试文件目录，‘.’表示当前根目录下的所有文件目录;包含测试源文件的目录的逗号分隔路径。从构建系统中读取Maven，Gradle，MSBuild项目。否则默认为空。
sonar.test.inclusions=**/**_test.go           #检测中的测试源文件（指定单元测试文件）
sonar.test.exclusions=**/vendor/**            #检测中排除的测试源文件（排除的源文件不参与检测）

sonar.jdbc.username和sonar.jdbc.password表示Sonar的数据库用户名和密码
sonar.host.url表示Sonar的监听地址和端口号，
sonar.sourceEncoding表示Sonar的编码方式，
sonar.jdbc.url表示数据库的链接方式，在这里我们的该项内容来源于Sonar的配置文件。sonar.projectKey为我们自定义的该Sonar Scanner的关键字，
sonar.projectName为该扫描项目的名称，
sonar.projectVersion表示Sonar项目的版本，
sonar.sources表示要扫描的项目目录

直接构建
在这里插入图片描述
在sonarqube服务器上刷新，查看结果
在这里插入图片描述
在这里插入图片描述

jenkins+OWASP Dependency-Check漏洞扫描

服务器部署OWASP Dependency-Check

Dependency-Check 是 OWASP（Open Web Application Security Project）的一个实用开源程序，用于识别项目依赖项并检查是否存在任何已知的，公开披露的漏洞。
目前，已支持Java、.NET、Ruby、Node.js、Python等语言编写的程序并为C/C++构建系统（autoconf和cmake）提供了有限的支持。
而且该工具还是OWASP Top 10的解决方案的一部分。
Dependency-Check 支持面广（支持多种语言）、可集成性强，作为一款开源工具，在多年来的发展中已经支持和许多主流的软件进行集成
比如：命令行、Ant、Maven、Gradle、Jenkins、Sonar等；具备使用方便，落地简单等优势。

DependencyCheck 实现原理
依赖性检查可用于扫描应用程序（及其依赖库），执行检查时会将 Common Platform Enumeration (CPE)国家漏洞数据库及NPM Public Advisories库下载到本地，再通过核心引擎中的一系列分析器检查项目依赖性，收集有关依赖项的信息。
然后根据收集的依赖项信息与本地的CPE&NPM库数据进行对比，如果检查发现扫描的组件存在已知的易受攻击的漏洞则标识，最后生成报告进行展示。

dependency-check下载地址
https://owasp.org/www-project-dependency-check/

https://jeremylong.github.io/DependencyCheck/  官方文档地址
https://github.com/jeremylong/DependencyCheck   gitlab地址

在这里插入图片描述

上传到jenkins所在服务器解压即可
[root@jenkins test01]# cd /data/owasp/
[root@jenkins owasp]# ll
total 30368
drwxrwxrwx. 7 root root      125 Sep 20 14:25 dependency-check
-rwxrwxrwx. 1 root root 31094435 Sep 20 14:22 dependency-check-8.4.0-release.zip

[root@jenkins test01]# chmod 777 -R  /data/owasp/

jenkins配置

下载插件
在这里插入图片描述
配置全局工具
在这里插入图片描述
在构建步骤选择增加构建步骤选择Dependency_check
在这里插入图片描述
在这里插入图片描述
直接构建
在这里插入图片描述
在这里插入图片描述
进入这个目录，把html下载下来打开直接打开
在这里插入图片描述
在这里插入图片描述

在sonarQube页面查看Dependency_check报告

1.下载dependency-check-sonar-plugin
https://github.com/dependency-check/dependency-check-sonar-plugin

一定要注意dependency-check-sonar-plugin与sonarQube的版本对应关系，我们部署的sonarQube是8.9，对应的dependency-check-sonar-plugin版本为:

在这里插入图片描述
2.下载下来之后使用：mvn clean package 生成jar包
将下载的sonar-dependency-check-plugin的jar包插件复制到sonarQube的extensions/plugins目录下，并且重启sonarqube，如果是镜像，需要手动编写Dockerfile,放入后生成新的镜像

在这里插入图片描述
3.返回到jenkins页面，在需要扫描的工程中，配置owasp的报告文件路径

sonar.dependencyCheck.htmlReportPath=./dependency-check-report.html
sonar.dependencyCheck.summarize=true
sonar.dependencyCheck.securityHotspot=true

4.注意执行顺序，先执行dependency-check，再执行sonarQube Scanner，因为sonar插件不会进行依赖扫描，需要通过dependency-check扫描完成后，读取配置文件，然后在页面展示的
在这里插入图片描述
在这里插入图片描述
5.构建完成后，在sonarQube页面，选择刚刚扫描的项目，选择更多，点击Dependency-Check，即可查看报告
在这里插入图片描述

一介书生 `
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
dependency-check-plugin:用于OWASP Dependency-Check的Jenkins插件。 检查项目组件是否存在已知漏洞（例如CVE）
05-13
依赖检查Jenkins插件 依赖性检查是一种实用程序，可识别项目依赖性并检查是否存在任何已知的，公开披露的漏洞。 该工具可以是OWASP Top 10 2017：A9-使用具有已知漏洞的组件的解决方案的一部分。 该插件可以独立执行依赖性检查分析并可视化结果。 寻求新的维护者 由于时间限制，其他承诺以及Jenkins项目的价值与我自己的价值观不符，我正在寻找新的维护者。 如果有兴趣，请在上创建票证，并且/或者按照指导进行操作'有兴趣成为该插件的维护者。 用法 该插件具有三个主要组件：全局定义的工具配置，构建器和发布者。 全局工具配置 可以通过Jenkins全局工具配置安装一个或多个Dependency-Check版本。 Dependency-Check的安装可以自动执行，这将从Bintray下载并提取官方命令行界面（CLI），或者可以手动安装正式发行版，并在配置中引用安装路径。 建造者 构建
dependency-check-7.1.1-release
06-27
dependency-check的核心功能是通过扫描项目中的依赖树，与NVD（美国国家漏洞数据库）等权威数据源进行对比，找出可能存在的已知漏洞。这个过程被称为“依赖验证”或“依赖检查”。当检测到匹配的漏洞时，dependency-...
在 Jenkins CICD 管道中集成 ArcherySec + OWASP ZAP
weixin_45131349的博客
07-28 550
在 Jenkins CI/CD 管道中集成 ArcherySec + OWASP ZAP常见问题
DependencyCheck+Jenkins扫描JAVA第三方依赖(CVE)漏洞_dependency-check
最新发布
2401_84024497的博客
04-28 651
文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。
DependencyCheck+Jenkins扫描JAVA第三方依赖(CVE)漏洞
u012280424的博客
09-26 3686
利用Jenkins使用DependencyCheck更新漏洞库到本地，然后DependencyCheck扫描扫描项目，得到一个json报告，然后再使用json报告填充我们的自定义模板，最后输出填充后的模板为漏洞报告。
jenkins以及maven本地添加第三方jar
weixin_33725239的博客
01-31 930
maven本地添加第三方jar 由于有些Jar包不是开源的，在maven remote repositories找不到相应的包，所以得通过自有的Jar包在local repositories中添加jar。然后在pom.xml中添加相应的dependency，就能用本地的jar了。 mvn install:install-file -...
Jenkins+sonar实现代码扫描
嘻哈王大头
06-17 3624
一、Sonar的作用 Sonar是一个用于代码质量检查的开源工具，采用B/S架构，帮助检查代码缺陷，改善代码质量，提高开发速度。可以从七个维度检查代码质量： 复杂度分布(complexity)：代码复杂度过高将难以理解； 重复代码(duplications)：程序汇总包含大量复制、粘贴的代码导致代码臃肿，sonar可以展示源码中重复严重的地方； 单元测试统计(unit tests)：统计并展示单元测试覆盖率，开发或者测试可以清楚测试代码的覆盖情况； 代码规则检查(coding rules)：通过Findb
dependency-check
03-31
- **Maven插件**：在`pom.xml`文件中添加`dependency-check-maven`插件配置，设置版本为8.2.1，然后运行`mvn dependency-check:check`命令。 - **报告生成**：扫描完成后，工具会生成一个详细的报告，列出所有检测...
jenkins离线安装中文插件包jenkins-zh.zip
12-15
在这个例子中，我们需要"jenkins-zh.zip"。这个文件包含了一组支持中文的插件。 2. **解压插件**: 将下载的压缩包"jenkins-zh.zip"解压到Jenkins的插件目录。默认情况下，这个目录是`/var/lib/jenkins/plugins/`。...
jenkins-2.289.2-1.1.noarch.rpm
07-02
亲自测试, 可以安装使用 jenkinx
依赖项检查工具 Dependency
07-24
epends工具是一款功能强大的VC反编译工具,它可以扫描任何32位或64位Windows模块（exe，dll，ocx，sys等），并构建所有相关模块的分层树状图。作为不是专业学习编程的小编来说，那些代码真的是有点让人头皮发麻呀，但是我们在工作中是要经常遇到这些代码的，所以今天为大家带来的小编的好帮手之一。对于找到的每个模块，它列出了该模块导出的所有函数，以及其中哪些函数实际上由其他模块调用。另一个视图显示所需文件的最小集合，以及有关每个文件的详细信息，包括文件的完整路径，基本地址，版本号，机器类型，调试信息等。
jenkins使用OWASP Dependency-Check Plugin对项目jar包漏洞扫描
mobingdetong的专栏
06-09 2094
jenkins使用插件OWASP Dependency-Check Plugin对jar包漏洞扫描 安装插件 [系统管理]-[插件管理]-[可选插件]安装OWASP Dependency-Check Plugin和Static Analysis Utilities 工具安装 [系统管理]-[全局工具配置]-[Dependency_check安装] 项目使用 生成html格式报告 ...
开源漏洞扫描工具dependency-check自动化shell脚本，轻松批量扫描jar依赖包
心想事成
02-27 664
只需要脚本的可以直接跳到第2步dependency-check项目地址，百度云链接：链接：https://pan.baidu.com/s/1yr7Uuj4G-jX3dxBaN2ONcA?pwd=bbt9提取码：bbt9。
Jenkins DependencyCheck扫描Node.js程序
freflying1119的博客
10-20 897
使用Dependency Check扫描Node.js程序
使用Dependency-Check扫描POM依赖第三方jar漏洞
wsdhla的专栏
03-31 556
使用Dependency-Check扫描POM依赖第三方jar漏洞
代码依赖包安全漏洞检测 （OWASP） Dependency Check
loujun2016的博客
04-07 7546
构建DevSecOps过程中，代码依赖成分管理是一个较为头疼的事情，在某个甲方时自研了一套SCA的软件成分管理工具，由于功能做的比较重，在新公司并不适用。于是找到了OWASP开源的代码依赖扫描工具 以下有部分内容为摘抄自其它博客 此帖目的为记录遇到的问题 集成到idea工具时出现的问题一：Unable to download the NVD CVE data; the results may not include the most recent CPE/CVEs from the NVD. 问题.
Jenkins+SonarQube+Dependency-Check搭建
weixin_60712169的博客
11-08 533
修改JENKINS_PORT服务端口为自定义端口，新版本中是修改/usr/lib/systemd/system/jenkins.service 此文件中的JENKINS_PORT参数，Jenkins2.3以前的历史版本是修改/etc/sysconfig/jenkins中的参数，网上找到的多是修改此处，经实验测试修改/etc/sysconfig/jenkins文件无效，但是安装的时候确实会生成此文件。Sumbit后，在浏览器输入： http://ip:port/restart ，重启Jenkins。
【Java Web 安全】DependencyCheck扫描POM依赖jar漏洞
qqchaozai的专栏
08-06 2541
前言 DependencyCheck GitHub地址：https://github.com/jeremylong/DependencyCheck 可以参考git上面教程执行，以下通过Windows环境进行演示 1 下载扫描程序 下载地址：https://bintray.com/jeremy-long/owasp/dependency-check 解压： 2 执行扫描 .\bin\dependency-check.bat --out . --scan you-scan-path .
jenkins安装maven-dependency-plugin
03-07
可以回答这个问题。Jenkins安装maven-dependency-plugin的步骤如下： 1. 在Jenkins中安装Maven Integration插件 2. 在Jenkins的全局配置中设置Maven的安装路径 3. 在Jenkins的项目配置中添加Maven构建步骤 4. 在Maven构建步骤中添加maven-dependency-plugin插件的执行命令 具体的步骤可以参考Jenkins和maven-dependency-plugin的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值