白盒代码审计工具——CodeQL安装与使用教程【Linux+Windows】

已于 2023-01-26 12:01:28 修改
阅读量7.5k 收藏 24
点赞数 7
分类专栏： 笔记 文章标签： 安全性测试 安全 系统安全
于 2022-12-05 16:07:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54129327/article/details/128188144
版权

CodeQL安装与使用教程（Linux+Windows）

该文章参考以下文章，总结提炼而成：
CodeQL从入门到放弃
白盒审计工具codeql的安装（踩坑）
CodeQL基础知识

CodeQL简介

Github为了解决其托管的海量项目的安全性问题，收购了CodeQL的创业公司，并宣布开源CodeQL的规则部分，这样全世界的安全工程师就可以贡献高效的QL审计规则给Github，帮助它解决托管项目的安全问题。

对于安全工程师，也就多了一个非商业的开源代码自动化审计工具。
CodeQL支持非常多的语言，在官网有如下支持的语言和框架列表。在这里插入图片描述

CodeQL原理

代码转化成类似数据库的形式，并基于该database进行分析。

在 CodeQL 中，代码被视为数据。安全漏洞、Bug 和其他错误被建模为可针对从代码中提取的数据库执行的查询。

CodeQL 的整体思路是把源代码转化成一个可查询的数据库，通过 Extractor 模块对源代码工程进行关键信息分析提取，构成一个关系型数据库。CodeQL 的数据库并没有使用现有的数据库技术，而是一套基于文件的自己的实现。
对于编译型语言，Extractor 会监控编译过程，编译器每处理一个源代码文件，它都会收集源代码的相关信息，如：语法信息（AST 抽象语法树）、语意信息（名称绑定、类型信息、运算操作等），控制流、数据流等，同时也会复制一份源代码文件。而对于解释性语言，Extractor 则直接分析源代码，得到类似的相关信息。
关键信息提取完成后，所有分析所需的数据都会导入一个文件夹，这个就是 CodeQL database, 其中包括了源代码文件、关系数据、语言相关的 database schema（schema 定义了数据之间的相互关系）。

CodeQL安装

CodeQL本身包含两部分 解析引擎 + SDK 。

  • 解析引擎：不开源，解析我们编写的规则，但是可以直接在官网下载二进制文件直接使用。
  • SDK(规则库)：完全开源，里面包含大部分现成的漏洞规则，我们也可以利用其编写自定义规则。

解析引擎安装

URL: https://github.com/github/codeql-cli-binaries/releases

下载已经编译好的codeql执行程序，解压之后把codeql文件夹放入～/CodeQL。

为了方便测试我们需要把ql可执行程序加入到环境变量当中：

#Windows
加入系统path

#Linux
cd /usr/bin
sudo ln -s /root/Codeql/codeql/codeql codeql
source /etc/profile

检验：命令行输入codeql，出现如下内容就表示引擎设置完成。
image

SDK安装

我们使用Git下载QL语言工具包，也放入～/CodeQL文件夹。

git clone https://github.com/github/codeql.git

这样在～/CodeQL目录下就包含了2个文件夹，引擎文件夹(codeql)和SDK文件夹(ql)。

➜  CodeQL ls
codeql ql

VSCode开发插件安装（命令行方法可不用）

CodeQL需要使用Visual Studio Code来开发和调试规则，所以我们需要在VSCode上面安装CodeQL的插件。
我们安装好Visual Studio Code后，在它的扩展里面搜索codeql, 点击安装。
然后我们配置一下上面我们安装的codeql引擎路径。

image

到此，我们就设置好了CodeQL的开发环境。

生成数据库

codeql只可以对解析引擎编译生成的数据库进行扫描，所以需要先生成目标数据库。

本地生成（推荐！！）

codeql database create 数据库名 --language=cpp --source-root=源码路径 --command="编译命令"

比如现在要对xxl-job这个项目进行漏洞扫描

下载项目源码并进入该目录

#下载源代码
git clone https://gitee.com/xuxueli0323/xxl-job 

#创建源码数据库：
codeql database create DatabaseName --language=java --command="mvn clean install" --source-root=D:\xxl-job 
#eg:codeql database create libtiff1_dbjob --language=cpp --command="make -j$(nproc)"

主要参数：

  • –command 参数如果不指定，会使用默认的编译命令和参数
  • –source-root 源码路径
  • –overwrite 表示 create 的目标 database 对已有的 database 做覆盖
  • –language 要根据具体项目的编译语言指定
    对应关系如下：
LanguageIdentity
C/C++cpp
C#csharp
Gogo
Javajava
javascript/Typescriptjavascript
Pythonpython

PS：–command 中指定的脚本的要求：

  • Confirm that there is some source code for the specified language in the project.
  • For codebases written in Go, JavaScript, TypeScript, and Python, do not specify an explicit --command.
  • For other languages, the --command must specify a “clean” build which compiles all the source code files without reusing existing build artefacts. 即如果项目中原本有任何编译产生的临时或最终文件，都需要删除，一定保证编译过程完全“ clean ”。
  • 如某个项目的 build.sh：
rm -r build && mkdir build
cd build && cmake .. && make -j

成功生成：
img

线上生成

url：https://lgtm.com/dashboard
codeql database create openjdk8u322-db  --language=java --command='make images JOBS=4'
PS：适合不需要打包的如python等    
此方法只是为了生成数据库，和上述第三步一样，区别只是在线生成和本地生成。

1.输入链接,点击follow生成
img

2.生成完成后点击下方进入下载到本地
img
img

进行项目漏洞扫描

VSCode

​ 主要参考

  • 在 VSCode 打开扫描规则 CodeQL libraries and queries（ql），并保存工作区（文件 —> 工作区另存）

  • VSCode 添加数据库

  • 打开工作区，选择要使用的扫描 CodeQL RUN Query
    img

  • 执行规则扫描
    右键选择具体语言的规则进行扫描，例如：java语言的规则。ql后缀的文件是规则扫描文件
    img

  • 点击 CodeQL:Run Queries in Selected Files 后，弹出一个对话框，选择Yes；即可执行扫描操作。
    PS：可以一次选择一条或者多条规则就行扫描；但是一次性不能超过 20 条规则。

  • 结果查看
    img

命令行方法(好用！！)

#创建数据库
codeql database create databaseName --source-root=D:/xxljob --language=java

#更新数据库
codeql database upgrade databaseName

#执行扫描规则
codeql database analyze databasePath codeql-repo/java --format=csv --output=result.csv
#eg:codeql database analyze ./libtiff1_dbjob /root/Codeql/ql/codeql/cpp/ql/src/Security/CWE --format=csv --output=result.csv
  • codeql-repo/java ：java 扫描规则路径
  • –format：结果输出格式
  • –output：结果文件输出路径
    在这里插入图片描述

有感：最后发现命令行真香！！！因为可以一次性扫很多条规则，但是vscode最多只支持20条，而且需要手动一个个选择，很麻烦。而且很多开发环境都涉及到Linux，所以建议抛弃vscode直接用命令行。到这里基本上可以正常使用了~如果有问题，欢迎一起来沟通！

mainnnnn
关注
专栏目录
自动化代码审计工具
weixin_30756499的博客
07-14 3521
三款自动化代码审计工具 0×01 简介 工欲善其事，必先利其器。 在源代码的静态安全审计中，使用自动化工具代替人工漏洞挖掘，可以显著提高审计工作的效率。学会利用自动化代码审计工具，是每一个代码审计人员必备的能力。在学习PHP源代码审计的过程中，本人搜集使用了多款自动化工具。本文将简要介绍其中三款比较实用的工具：RIPS、VCG、Fortify SCA。 RIPS是一款开...
php代码审计系列教程,PHP代码审计工具——Rips详细使用教程
weixin_35980011的博客
03-10 961
一、代码审计工具介绍代码审计工具可以辅助我们进行白盒测试，大大提高漏洞分析和代码挖掘的效率。在源代码的静态安全审计中，使用自动化工具辅助人工漏洞挖掘，一款好的代码审计软件，可以显著提高审计工作的效率。学会利用自动化代码审计工具，是每一个代码审计人员必备的能力。代码审计工具按照编程语言、审计原理、运行环境可以有多种分类。商业性的审计软件一般都支持多种编程语言，比如VCG、Fortify SCA，缺点...
生命在于学习——代码审计工具
易水哲的博客
09-20 2203
代码审计工具的学习
11个代码质量审核和管理工具，程序员必备！
最新发布
ewii12567的博客
09-25 1232
如今，代码质量分析和审核已成为每个企业的基本流程。随着开源代码库使用的增加，安全性和代码质量对于构建高质量软件至关重要。不良的代码不仅会影响代码的可维护性，而且还会在某些情况下影响其性能。此外，更好的代码质量还有助于企业将来减少维护和降低成本。幸运的是，有很多审核和管理代码的工具，为开发者和程序员提供了发现代码问题的解决方案。
codeql安装(从0开始的codeql之旅)
qq_40131760的博客
05-06 2336
本文章为多次尝试之后,自己成功安装并运行成功codeql的记录 下载 建议下载之前先新建一个codeql目录,下载和clone的东西都放在下面 首先安装最新版的vsCode 安装扩展 在其中搜索并安装CodeQl拓展 下载codeql引擎 接着下载codeql引擎,选择对应版本即可 点击小齿轮,Extension Settings 打开拓展设置 把刚才下载并解压的ql引擎文件中的codeql.exe的路径填写上去 同时把codeql.exe的路径配置到环境变量path中去,这一步是为了后面使用命令行
CodeQL教程
DVK
08-11 1675
CodeQL学习笔记 0x00 前言 近期在学习静态代码审计的部分内容，找到了一个强大的神器CodeQL。 CodeQL是一款帮助开发者自动化安全检查的分析引擎，同时也能够帮助安全研究人员进行变种函数分析。 在CodeQL的世界，所有的代卖都被视作数据来处理。安全漏洞、bugs、以及其他错误都可以生成查询模型来针对性的从代码提取出的数据库进行查询。 0x01 已有资源分析 每次在学习一个新鲜的东西，第一时间都是去找各位师傅的博客和分享。所以第一部分先把国内各位大师傅的博文都撸一遍，站在巨人的肩膀上再去啃官
「 CodeQL从入门到精通系列 」02.CodeQL安装指导及使用方式
所有成功的背后，都是痛苦的坚持，所有的痛苦，都是傻瓜般的不放弃!
03-25 5194
使用CodeQL前需要先安装CodeQL解析引擎CodeQL CLI和CodeQL SDK。CodeQL CLI为编译好的二进制文件，本身不开源，Github默认提供了Windows、Linux及MacOS三个系统的版本，文件平均大小300M+。但国内从Github下载文件的速度异常慢且容易下载中断，如果是Windows平台建议直接从网盘下载。CodeQL SDK中包含了CodQL标准库和各种主流语言的常见查询规则，方便开发者进行二次开发。
代码审计工具汇总
10-06
配套 【随 亦】的博客《代码审计--8--环境搭建+工具使用》一文的资料。注意文档哦
白盒代码审计工具—CodeQL安装教程【Liunx】
weixin_44562450的博客
04-14 713
codeql是一个将代码转化成类似数据库的形式，并基于该database进行分析的引擎。在 CodeQL 中，代码被视为数据。安全漏洞、Bug 和其他错误被建模为可针对从代码中提取的数据库执行的查询。
CodeQL 的安装及基本使用
^_^
08-11 2206
CodeQL是一款很知名的源码静态分析工具。本文主要介绍CodeQL的安装以及如何用它自带的查询去检测漏洞。
代码审计工具
weixin_40855279的博客
08-13 1729
一般工具导出的报告，可读性较差，可以作为编写代码审计报告的参考，但是无法作为代码审计报告直接提交，给客户提交的代码审计报告需要自行编写。：根据实际情况进行选择，也可以全部选择默认，有些客户不想解决代码质量问题，或者只想关注远程能被利用的漏洞，则前两个问题就选择选项3即可。如果年限过久，规则库需要升级，一般license是有限制的，无法在线升级，其他方法就是通过其他渠道获取一个最新的规则库，手工对。，高级选项，如果需要扫码的源代码是非Java代码，就需要选择高级选项，工具支持大部分主流开发语言的扫描。
代码审计-审计工具介绍-DAST+SAST+IAST项目
xiaoheizi的博客
08-21 1364
各类语言审计工具 PHP：Seay RIPS CheckMarx Fortify VCG Kunlun-M NET：VCG Fortify CheckMarx Java：Fortify CheckMarx VCG Python：Bandit Fortify CheckMarx JS：Kunlun-M NodeJsScan Fortify CheckMarx Go：Gosec CheckMarx
Cobra-White 白盒源代码审计工具-白帽子版
10-20
Cobra-W -> Cobra-White 白盒源代码审计工具-白帽子版
MySQL实时监控工具(代码审计/黑盒/白盒审计辅助工具)
02-28
在代码审计、黑盒审计和白盒审计过程中，这些工具能够提供关键数据，帮助优化数据库设计，提升系统的安全性和稳定性。 1. 代码审计： 在代码审计阶段，开发者需要确保SQL语句的正确性和效率。MySQL实时监控工具...
MySQLMonitor：MySQL实时监控工具（代码审计黑盒白盒审计辅助工具）
02-02
MySQL实时监控工具（黑盒测试辅助工具） 更新： 2020-10-18：使用Java重构，打包好的版本可点击下载 2019-04-29：修复windows系统下监控不成功的问题（其实就是语序有问题调整一下就OK）感谢的反馈 2019-03-26：新...
PHP 白盒分析工具,结合AST 和数据流跟踪分析代码,达到自动化白盒审计功能
12-20
自动审计工具可以扫描大量的代码，快速定位潜在问题，如SQL注入、跨站脚本（XSS）、命令注入等常见安全风险，以及代码冗余、性能瓶颈等问题。这极大地提高了开发效率，尤其是在维护大型项目时。 PHP源代码审计工具...
静态代码审计工具Cobra/Cobra-W/find-sec-bugs
公众号shadow sock7
02-03 4778
之前童话师傅写过一篇Cobra静态代码审计工具的源码分析，所以先看看这个工具吧。 源码在： https://github.com/WhaleShark-Team/cobra 后来还有Lo写的一个改版： https://github.com/LoRexxar/Cobra-W 都试试吧。 ...
17款最佳的代码审查工具
chuanqu1646的博客
11-11 731
1）CodeStriker CodeStriker是一个免费&开源的Web应用程序，可以帮助开发人员基于Web的代码审查。它不但允许开发人员将问题、意见和决定记录在数据库中，还为实际执行代码审查提供了一个舒适的工作区域。 官方网站：http://codestriker....
CodeQL 从零到精通第 3 部分：使用 CodeQL 进行安全研究
技术超强的网络安全平台
08-25 1432
在CleartextLoggingCustomizations.qll中，我们可以看到几种接收器：首先，有 LoggingAsSink 接收器，它使用LoggingConcepts 模块中定义的接收器，但还有另一个定义的接收器类 — PrintedDataAsSink。我们鼓励您使用新配置，但出于历史原因，我们在此处包含旧配置 — 有许多关于 CodeQL 的文章、会议演讲、研究论文以及一些较旧的 CodeQL 查询都使用旧配置，在这里对其进行简要描述应该可以更容易地理解旧查询的工作原理。
codeql安装以及基本使用
weixin_43104689的博客
08-03 674
codeql,代码审计，小白学习代码审计
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值