容器扫描Trivy及Trivy-db数据库研究

已于 2024-01-12 11:39:14 修改
阅读量819 收藏 11
点赞数 11
分类专栏： 安全笔记 文章标签： 容器安全 镜像安全
于 2024-01-11 14:57:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52444045/article/details/135528167
版权

trivy介绍

Trivy是一个镜像容器扫描工具，用于扫描漏洞和配置错误。 它是一款相当全面且多功能的安全扫描器，支持多种扫描目标，能够弥补市面上常见Web 漏洞扫描工具的不足。 Trivy 可以轻松地通过安装并将二进制文件添加到项目中，进而集成到CI/CD 管道（ DevSecOps ）。

Trivy检测操作系统包（Alpine、RHEL、CentOS等）和应用程序依赖（Bundler、Composer、npm、yarn等）的漏洞。

在这里插入图片描述

功能：

  • 扫描镜像
  • 扫描打包好的镜像
  • 扫描配置文件
  • 集成与扩展

GitHub地址： https://github.com/aquasecurity/trivy

安装和使用方法可以参考网上其余文章

本文章主要研究trivy的数据库trivy-db : https://github.com/aquasecurity/trivy-db

trivy工具在运行前会先检查一遍数据是否最新，会拉去一份数据库到本地/home/quser/.cache/trivy/trivy.db

Trivy-db

trivy数据库内容结构
参考 https://blog.csdn.net/huzai9527/article/details/125975440

在这里插入图片描述
系统名称列表：

CBL-Mariner 1.0
CBL-Mariner 2.0
Oracle Linux 5
Oracle Linux 6
Oracle Linux 7
Oracle Linux 8
Oracle Linux 9
Photon OS 1.0
Photon OS 2.0
Photon OS 3.0
Photon OS 4.0
Photon OS 5.0
Red Hat
Red Hat CPE
SUSE Linux Enterprise 11
SUSE Linux Enterprise 11.1
SUSE Linux Enterprise 11.2
SUSE Linux Enterprise 11.3
SUSE Linux Enterprise 11.4
SUSE Linux Enterprise 12
SUSE Linux Enterprise 12.1
SUSE Linux Enterprise 12.2
SUSE Linux Enterprise 12.3
SUSE Linux Enterprise 12.4
SUSE Linux Enterprise 12.5
SUSE Linux Enterprise 15
SUSE Linux Enterprise 15.1
SUSE Linux Enterprise 15.2
SUSE Linux Enterprise 15.3
SUSE Linux Enterprise 15.4
SUSE Linux Enterprise 15.5
alma 8
alma 9
alpine 3.10
alpine 3.11
alpine 3.12
alpine 3.13
alpine 3.14
alpine 3.15
alpine 3.16
alpine 3.17
alpine 3.18
alpine 3.19
alpine 3.2
alpine 3.3
alpine 3.4
alpine 3.5
alpine 3.6
alpine 3.7
alpine 3.8
alpine 3.9
alpine edge
amazon linux 1
amazon linux 2
amazon linux 2022
amazon linux 2023
bitnami::Bitnami Vulnerability Database
cargo::GitHub Security Advisory Rust
chainguard
cocoapods::GitHub Security Advisory Swift
composer::GitHub Security Advisory Composer
composer::PHP Security Advisories Database
conan::GitLab Advisory Database Community
data-source
debian 10
debian 11
debian 12
debian 13
debian 7
debian 8
debian 9
erlang::GitHub Security Advisory Erlang
go::GitHub Security Advisory Go
k8s::Official Kubernetes CVE Feed
maven::GitHub Security Advisory Maven
npm::GitHub Security Advisory npm
npm::Node.js Ecosystem Security Working Group
nuget::GitHub Security Advisory NuGet
openSUSE Leap 15.0
openSUSE Leap 15.1
openSUSE Leap 15.2
openSUSE Leap 15.3
openSUSE Leap 15.4
openSUSE Leap 15.5
openSUSE Leap 42.1
openSUSE Leap 42.2
openSUSE Leap 42.3
pip::GitHub Security Advisory pip
pub::GitHub Security Advisory Pub
rocky 8
rocky 9
rubygems::GitHub Security Advisory RubyGems
rubygems::Ruby Advisory Database
swift::GitHub Security Advisory Swift
ubuntu 12.04
ubuntu 12.04-ESM
ubuntu 12.10
ubuntu 13.04
ubuntu 13.10
ubuntu 14.04
ubuntu 14.04-ESM
ubuntu 14.10
ubuntu 15.04
ubuntu 15.10
ubuntu 16.04
ubuntu 16.04-ESM
ubuntu 16.10
ubuntu 17.04
ubuntu 17.10
ubuntu 18.04
ubuntu 18.10
ubuntu 19.04
ubuntu 19.10
ubuntu 20.04
ubuntu 20.10
ubuntu 21.04
ubuntu 21.10
ubuntu 22.04
ubuntu 22.10
ubuntu 23.04
ubuntu 23.10
vulnerability
wolfi

读取指定系统的value，go代码

package main

import (
	"database/sql"
	"fmt"
	_ "github.com/go-sql-driver/mysql"
	bolt "go.etcd.io/bbolt"
	"os"
	"time"
)

func main() {
	//连接trivy数据库
	db, err := bolt.Open("trivy.db", 0600, &bolt.Options{Timeout: 1 * time.Second})
	if err != nil {
		panic("init trivydb failed")
	}

	file, err := os.Create("file.txt")
	if err != nil {
		fmt.Println(err)
	}
	defer file.Close()

	// 连接mysql数据库
	dbmysql, err := sql.Open("mysql", "root:root@tcp(127.0.0.1:3306)/trivy-db")
	if err != nil {
		fmt.Println("Failed to connect to database:", err.Error())
		return
	}
	defer db.Close()

	whitelist := []string{"ubuntu 12.04", "ubuntu 12.10", "ubuntu 13.04",
		"ubuntu 13.10", "ubuntu 14.04", "ubuntu 14.10", "ubuntu 15.04",
		"ubuntu 15.10", "ubuntu 16.04", "ubuntu 16.10", "ubuntu 17.04",
		"ubuntu 17.10", "ubuntu 18.04", "ubuntu 18.10", "ubuntu 19.04",
		"ubuntu 19.10", "ubuntu 20.04", "ubuntu 20.10", "ubuntu 21.04",
		"ubuntu 21.10", "ubuntu 22.04", "ubuntu 22.10", "ubuntu 23.04",
		"ubuntu 23.10"}

	//查询数据库中的数据
	db.View(func(tx *bolt.Tx) error {
		//遍历所有桶
		tx.ForEach(func(osname []byte, b *bolt.Bucket) error {

			if containsWhitelist(whitelist, string(osname)) {
				b.ForEach(func(k, v []byte) error {
					// 遍历嵌套桶
					b.ForEachBucket(func(k []byte) error {
						//k 桶名 （包名)
						packageName := string(k)
						nestedbucket := b.Bucket([]byte(string(k)))
						nestedbucket.ForEach(func(k, v []byte) error {
							fmt.Fprintln(file, string(osname))
							fmt.Fprintln(file, packageName)
							fmt.Fprintln(file, string(k))
							fmt.Fprintln(file, string(v))
							//chuli(dbmysql, string(osname), packageName, string(k), string(v))
							fmt.Println(dbmysql, string(osname), packageName, string(k), string(v))
							return nil
						})
						return nil
					})
					return nil
				})
				return nil
			} else {
				fmt.Println("不在白名单中")
			}
			return nil
		})
		return nil
	})
}

func chuli(dbmysql *sql.DB, osname string, name string, s string, s2 string) {
	// 插入数据
	stmt, err := dbmysql.Prepare("INSERT INTO " + "`" + osname + "`" + "(Pname, CVE,value) VALUES(?,?,?)")
	if err != nil {
		fmt.Println("Failed to prepare statement:", err.Error())
		return
	}
	defer stmt.Close()

	_, err = stmt.Exec(name, s, s2)
	if err != nil {
		fmt.Println("Failed to execute statement:", err.Error())
		return
	}
	

}

// containsWhitelist 检查给定的OS是否在白名单中
func containsWhitelist(whitelist []string, name string) bool {
	for _, whiteName := range whitelist {
		if whiteName == name {
			return true
		}
	}
	return false
}

如果想转存到数据库中，需要新建系统表，表结构：

CREATE TABLE `ubuntu 12.04` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`Pname` VARCHAR(500) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
	`CVE` VARCHAR(5000) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
	`value` VARCHAR(5000) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
	INDEX `id` (`id`) USING BTREE
)
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB
AUTO_INCREMENT=427755
;

数据库效果：
在这里插入图片描述
从13点到17点15分处理了四个小时，一个系统的已经接近百万条了，还没处理完，按照CVE区分确实太冗余了。。。

在这里插入图片描述

终于找到问题了，代码有一点小bug，多了一层遍历，怪不得这么多，而且刚好重复的次数是443次，因为之前统计过软件报名有443个，应该是多遍历了一遍软件包的桶 删掉这一层遍历b.ForEach(func(k, v []byte)

下面是修改后的代码：

package main

import (
	"database/sql"
	"fmt"
	_ "github.com/go-sql-driver/mysql"
	bolt "go.etcd.io/bbolt"
	"os"
	"time"
)

func main() {
	//连接trivy数据库
	db, err := bolt.Open("trivy.db", 0600, &bolt.Options{Timeout: 1 * time.Second})
	if err != nil {
		panic("init trivydb failed")
	}

	file, err := os.Create("file.txt")
	if err != nil {
		fmt.Println(err)
	}
	defer file.Close()

	// 连接mysql数据库
	dbmysql, err := sql.Open("mysql", "root:root@tcp(127.0.0.1:3306)/trivy-db")
	if err != nil {
		fmt.Println("Failed to connect to database:", err.Error())
		return
	}
	defer db.Close()

	whitelist := []string{"ubuntu 12.04", "ubuntu 12.10", "ubuntu 13.04",
		"ubuntu 13.10", "ubuntu 14.04", "ubuntu 14.10", "ubuntu 15.04",
		"ubuntu 15.10", "ubuntu 16.04", "ubuntu 16.10", "ubuntu 17.04",
		"ubuntu 17.10", "ubuntu 18.04", "ubuntu 18.10", "ubuntu 19.04",
		"ubuntu 19.10", "ubuntu 20.04", "ubuntu 20.10", "ubuntu 21.04",
		"ubuntu 21.10", "ubuntu 22.04", "ubuntu 22.10", "ubuntu 23.04",
		"ubuntu 23.10"}

	//查询数据库中的数据
	db.View(func(tx *bolt.Tx) error {
		//遍历所有桶
		tx.ForEach(func(osname []byte, b *bolt.Bucket) error {

			if containsWhitelist(whitelist, string(osname)) {
				b.ForEachBucket(func(k []byte) error {
					//k 桶名 （包名)
					packageName := string(k)
					nestedbucket := b.Bucket([]byte(string(k)))
					nestedbucket.ForEach(func(k, v []byte) error {
						fmt.Fprintln(file, string(osname))
						fmt.Fprintln(file, packageName)
						fmt.Fprintln(file, string(k))
						fmt.Fprintln(file, string(v))
						//chuli(dbmysql, string(osname), packageName, string(k), string(v))
						fmt.Println(dbmysql, string(osname), packageName, string(k), string(v))
						return nil
					})
					return nil
				})
				return nil
			} else {
				fmt.Println("不在白名单中")
			}
			return nil
		})
		return nil
	})
}

func chuli(dbmysql *sql.DB, osname string, name string, s string, s2 string) {
	// 插入数据
	stmt, err := dbmysql.Prepare("INSERT INTO " + "`" + osname + "`" + "(Pname, CVE,value) VALUES(?,?,?)")
	if err != nil {
		fmt.Println("Failed to prepare statement:", err.Error())
		return
	}
	defer stmt.Close()

	_, err = stmt.Exec(name, s, s2)
	if err != nil {
		fmt.Println("Failed to execute statement:", err.Error())
		return
	}
	

}

// containsWhitelist 检查给定的OS是否在白名单中
func containsWhitelist(whitelist []string, name string) bool {
	for _, whiteName := range whitelist {
		if whiteName == name {
			return true
		}
	}
	return false
}

可以把id列删除之后，通过查询数据库判断重复信息，应该是不会重复了（但愿吧
在这里插入图片描述

sec0nd_
关注
  • 11
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
trivy如何从非关系型数据库查询数据
huzai9527的博客
07-25 672
我们主要看一下如何获取所有CVE的 Get 方法 1.Get 的调用链如下 `Get -> GetAdvisories -> ForEachAdvisory -> forEach` 2.这实际上就是上面提到的从函数中推测 `forEach`,我概括一下主要步骤 3.首先获取 os-release 对应的 bucket， 这里面有一个嵌套的 pkgName 的的 bucket 4.通过pkgName 获取对应饿的 pkg bucket，里面就有 CVE 以及对应的 pkg 版本信息 ...
容器镜像安全扫描之Trivy
Innocence_0的博客
02-19 1199
容器镜像安全扫描之Trivy
trivy-db-to:trivy-db-to是用于将漏洞信息从Trivy DB迁移到其他数据源的转换工具
03-06
trivy-db-to trivy-db-to是用于将漏洞信息从迁移/转换到其他数据源的工具。 用法 $ trivy-db-to mysql://root:mypass@127.0.0.1:3306/mydb Fetching and updating Trivy DB ... 19.35 MiB / 19.35 MiB [--------------------------------------------------] 100.00% 2.58 MiB p/s 8s done Initializing vulnerability information tables ... done Updating vulnerability information tables ... >> Updating table 'vulnerabilities' ... >> Update tabl
【送书活动第1期】2024最新!依赖扫描神器Trivy的详细使用教程（Jar Maven docker images镜像）（文末送书）_安装trivy(3)
最新发布
2401_84969443的博客
05-13 1059
以上就是今天要讲的内容，本文介绍了Trivy的使用。欢迎大家关注EureKaSec，无论是技术交流还是有兴趣加入我们团队，都欢迎随时联络沟通。文章原创，欢迎转载，请注明文章出处：【送书活动第1期】2024最新!依赖扫描神器Trivy的详细使用教程（Jar/Maven/docker images镜像）（文末送书）百度和各类采集站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯不定期对自己的博文进行修正和更新，因此请访问出处以查看本文的最新版本。
trivy-database:基于AquaSecurity Trivy DB的Docker映像
04-02
普通数据库 基于AquaSecurity Trivy DB的Docker映像
将trivydb转转化为mysql、sqlite的小工具
huzai9527的博客
08-03 500
将trivydb转转化为mysql、sqlite的小工具。
云原生|kubernetes|安全漏扫神器trivy的部署和使用
zsk_john的技术分享专用博客
01-05 3803
由此，我们可以得出一个结论： kubernetes集群的部署使用kubeadm是没什么问题的，但etcd，flannel。kube-proxy这些组件最好还是二进制部署。
calibre-web 数据库文件metadata.db 下载
02-22
calibre-web 数据库文件metadata.db 下载
DB-GPT数据库大语言模型
08-17
DB-GPT数据库大语言模型 DB-GPT数据库大语言模型 DB-GPT数据库大语言模型 DB-GPT数据库大语言模型
trivy-offline.db.tgz
10-26
trivy-offline.db
x-db数据库动态链接库dll
08-20
《深入理解x-db数据库动态链接库DLL》 在IT领域，数据库系统是核心部分，而x-db数据库作为大唐先一软件的重要组成部分，其动态链接库（DLL）在软件开发中扮演着不可或缺的角色。DLL全称为Dynamic Link Library，是...
trivy：适用于CI的简单，全面的容器漏洞扫描程序
02-04
适用于CI的用于容器和其他工件的简单而全面的漏洞扫描程序。 目录 抽象 Trivy （ tri发音类似于tri gger， vy发音类似于en vy ）是一种用于容器和其他工件的简单而全面的漏洞扫描程序。 软件漏洞是软件或操作系统中存在的故障，缺陷或弱点。 Trivy检测OS软件包（Alpine，RHEL，CentOS等）的漏洞和应用程序依赖项（捆绑程序，Composer，npm，yarn等）。 Trivy易于使用。 只需安装二进制文件即可开始扫描。 扫描所需要做的就是指定一个目标，例如容器的图像名称。 它被认为用于CI。 在推送到容器注册表或部署应用程序之前，您可以轻松扫描本地容器映像和其
【质量】镜像漏洞扫描工具Trivy原理和操作
bandaoyu的note
08-22 3555
Trivy 有对 CI 友好的特点，并且官方也以这种方式使用它，想要集成 CI 只需要一段简单的 Yml 配置文件即可，如果发现漏洞，测试将失败。由于在自动化场景（如CI/CD）中，您只对最终结果感兴趣，而不是对完整的报告感兴趣，因此请使用 –light 标志对此场景进行优化，以获得快速的结果。在下面的示例中，仅当发现关键漏洞时，测试才会失败。漏洞扫描工具扫描镜像内的组件/库的包的版本，然后再去官方数据库检索，查看当前镜像内的组件/库的版本有没有官方记录的漏洞，发现有就列出漏洞列表（cve id列表）。
【送书活动第1期】2024最新!依赖扫描神器Trivy的详细使用教程（Jar/Maven/docker images镜像）（文末送书）
面向感觉挖洞，背向对象编程。欢迎关注VX公众号：EureKa安全团队
04-22 2242
Trivy是一款全面的多功能安全扫描器。Trivy 扫描器可以查找安全问题，并能在发现问题的地方锁定目标。可以扫描javax项目依赖，支持jar包依赖扫描以及docker镜像扫描，非常方便，利于安全人员进行代码审计，推动漏洞修复或者渗透测试。
Trivy离线扫描：容器安全实践指南
飞翔沫沫情博客
04-19 1587
使用 fanal 漏洞库，快速查询操作系统版本信息trivy 会提取目标镜像的 ImageID，并根据目标镜像记录的生成关系，计算出其基础镜像的 ImageID。然后，在 fanal.db中保存的 ImageID 进行查询。如果命中，就可以快速确基础镜像对应的操作系统、版本信息等信息。解析基础镜像的系统文件，获得操作系统版本信息。
5.供应链安全
weixin_46532941的博客
04-04 4165
可信任软件供应链：指在建设基础架构过程中，涉及的软件都是可信任的。kubesec：是一个针对K8s资源清单文件进行安全配置评估的工具，根据安全配置 最佳实践来验证并给出建议。官网：https://kubesec.io项目地址：https://github.com/controlplaneio/kubesec。
trivy 源码分析（扫描镜像中的漏洞信息）
huzai9527的博客
07-20 1808
把总结放在开头，能让我们看源码的时候有掌控全局的感觉。扫描逻辑其实很简单的，首先需要获取镜像中的各种资产信息（OSPackage等）然后需要根据（镜像的OS信息+pkg信息）查询相关的待选CVE然后在匹配当前的pkg的版本号，是不是CVE中fixed的版本号，如果不是就记录该CVE如果想要魔改或者抽取，建议直接看，从image获取pkg信息以及根据OS以及pkg查询CVE这两个函数如果就想知道扫描流程，看到这就已经够了。...
渗透工具Trivy：容器映像、文件系统和 Git 存储库中的漏洞以及配置问题的扫描程序
学习、分享、交流
04-16 2015
Trivy：容器映像、文件系统和 Git 存储库中的漏洞以及配置问题的扫描程序
sqli-labs 数据库如何建立
05-14
要构建sqli-labs数据库，请按照以下步骤操作： 1. 下载sqli-labs：您可以从https://github.com/Audi-1/sqli-labs下载sqli-labs。 2. 安装LAMP / WAMP / XAMPP：在安装sqli-labs之前，您需要安装LAMP（Linux上的Apache，MySQL和PHP）或WAMP / XAMPP（Windows上的Apache，MySQL和PHP）。 3. 创建数据库：打开终端/控制台并登录到MySQL shell。使用以下命令创建名为“ sqli-labs”的新数据库： ``` CREATE DATABASE sqli-labs; ``` 4. 导入数据库：将sqli-labs中的sqli-labs.sql文件导入新创建的数据库。使用以下命令： ``` mysql -u [用户名] -p sqli-labs < /path/to/sqli-labs/sqli-labs.sql ``` 5. 配置sqli-labs：打开sqli-labs / sql-connections / db-creds.inc文件，将以下行替换为您的MySQL用户名和密码： ``` $dbuser='[用户名]'; $dbpass='[密码]'; ``` 6. 运行sqli-labs：将sqli-labs文件夹复制到Apache Web服务器的文档根目录中。然后，打开Web浏览器并导航到http：// localhost / sqli-labs / index.html。 现在，您已成功创建sqli-labs数据库并可以开始使用它来学习SQL注入。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值