关于Checkmarx、CodeQL和Semgrep的测试结果比较

关于Checkmarx、CodeQL和Semgrep的测试结果比较

随着SAST工具的不断的推陈出新，为了比较一些新的工具是否能够提供更好的扫描结果，针对Checkmarx、CodeQL以及Semgrep几个工具进行了测试评估，具体的评估结果仅供参考。本文列列举了工具的各个方面的比较，比较的方面和结果如下。

一、关于语言的支持

几种工具关于语言的支持下：

Checkmarx	CodeQL	Semgrep
Java	Java	Java
JavaScript	JavaScript	JavaScript
Typescript	TypeScript	TypeScript
Python	Python	Python
Scala		Scala
GO	GO	GO
Kotlin	Kotlin	Kotlin
C	C	C
C++	C++	C++
C#		C#
PHP		PHP
Apex		Apex
Ruby	Ruby	Ruby
VB.NET
VBScript
PL\SQL
HTML5
ASP.NET
ASP
VB6
Perl
Android (Java)
Objective-C
Swift	Swift	Swift
Groovy
Cobol
RPG
Dart
Lua
Rust		Rust
		JSX
		Generic
		JSON
		Terraform
		Elixir

通过比较可以了解到，Checkmarx作为老牌工具对语言的支持还是很多的。Semgrep对语言的支持也比较多，但是，有些语言的规则比较少，有的语言的规则甚至少的可怜。

二、关于框架的支持

对于SAST工具而言，对框架的支持非常重要，它可以有效地发现基于某些框架的漏洞，而且现在系统的开发为了提高开发效率，基本上没有从0开始的，都是基于框架的，因此，对于框架的支持程度对于扫描结果的影响很大。根据三种工具的官方网站关于框架的支持的描述，如下：

工具	对于框架的支持
Checkmarx	SAST Scanner - Supported Languages and Frameworks
CodeQL	Supported languages and frameworks — CodeQL
Semgrep	N/A

目前没有找到关于Semgrep的关于框架的支持的详细信息，通过了解，也只支持了一些最常用的框架，例如：Java的spring MVC/Boot，针对ReactJS，JPA，JQuery，Node.js，handlebars，Ajax也只是有限地支持，还有很多框架不支持，例如：struts，Ibatis，MyBatis等。这么多框架不支持是个硬伤，必然会导致很多误报和漏报，如果想要改进这方面的问题，就必须要定制化规则，这就需要花费一定的功夫了。

三、是否依赖编译

关于是否依赖编译这一点是非常重要的，第一点就是如果不依赖编译，就不需要根据项目的需求使用对应的编译环境；第二点就是在CI里，可以和Build的过程并行进行，缩短整个CI flow的时间。根据调查Checkmarx和Semgrep都不依赖编译，CodeQL目前还依赖编译，不过跟他们的支持人员确认的结果是：不依赖编译的功能正在研发，不过，不知道何时才会发布。

四，OWASP Benchmark的测试结果

关于OWASP Benchmark的详细介绍请参考：https://owasp.org/www-project-benchmark/，这里不作额外的介绍。根据测试得到工具的Benchmark的分述如下：

Benchmark的分数排序如下：

       Checkmarx > Semgrep > CodeQL

虽然Benchmark的分数并不一定100&说明一个工具的好坏，不排除某些工具针对它做了针对性的改进，但是，它也一定程度上反映了一个工具的扫描能力和扫描效果。因为它不仅仅根据误报来评测，它也会针对漏报进行评估。

五、误报问题

误报问题对几个工具而言，针对开源软件，像WebGoat，bwapp      juice-shop等测试的而结果还不错。不过，针对非开源软件的测试就不尽如人意，误报有些高。

六、漏报问题

漏报问题是根据几个工具的扫描结果进行比较，而得出的。例如：A工具报了20个，B工具报了10个，C工具报了5个，经过确认之后，报的问题都是有效的。那么很明显，B工具的漏报比A工具的要高，C的工具就比B工具的漏报高。针对漏报而言，随机选择了几个项目，包含Java，Python和TypeScript，比较结果是：CodeQL>Semgrep>Checkmarx，这里可能存在一定的随机性，随着挑选的项目的不同，测试结果可能不一样，仅供参考。

七、安全问题的甄别（Triage）

在安全问题的识别和分类处理时，Checkmarx由于扫描源码并且上传源码，所以，可以在UI里根据数据流切换到不同的具体代码，对于识别一个问题是否是误报，比较容易。

CodeQL是通过显示不同的数据流里的代码片段来显示问题代码的上下文，也可以比较容易看清楚数据的流向与相关的代码。

Semgrep是在本地扫描，然后将扫描的结果发送到Semgrep的云上，通过Web Portal再显示扫描结果，虽然在数据流里显示了具体的文件与行号，但是，由于不能和源代码联动，在做甄别问题时，就显得比较费劲，如果上传代码到云上，又有泄露的安全风险。

八、是否支持增量扫描

Checkmarx是支持增量扫描的，在使用CLI时，添加一个参数—Incremental True即可，在UI上也可以选择是Full Scam还是Incremental Scam，不过，在代码改动量达到一个阈值时，就会自动转成全量扫描。

CodeQL是自动默认全是全量扫描，不支持增量扫描。

Semgrep是支持增量扫描的，而且，在扫描结果也支持增量输出，在CLI添加 —incremental-output参数即可。

九、基于AI的AutoFix

Checkmarx目前只在VS Code的Plugin里实现了基于AI的AutoFix。CodeQL也实现了基于AI的Autofix，不过，只在PR（Pull Request）里实现了，Semgrep也实现了AutoFix，同样，也只在Github的PR里才能使用。虽然都是基于ChatGPT4实现的，至于具体结果上有什么不同，还尚未验证。

由于基于AI的AutoFIx，可以方便指导开发人员快速修复问题，对于一些简单的安全问题，可以实现一键修复。它可以提高开发修复安全问题的效果和效率。

十、与CI的集成

三种工具都提供了CLI工具，都可以在CI里通过调用CLI的方式来集成。如果使用Github，那么，就可以直接在Github的Action里直接调用CodeQL就比较方便。总体而言，关于CI的集成都可以比较容易集成。

十一、扫描速度

如果要集成到CI里，对工具的扫描速度要求还是比较高的，特别是一些比较大的repo，几百万行的代码，如果扫描时间太久，会Block CI的流程。三种工具的测试结果是CodeQL和Semgrep还是比较快的，Checkmarx就显得慢一些，不过，由于支持增量扫描，充分利用增量扫描的特性，也可以将扫描时间缩短很多。

十二、价格

除了工具的功能之外，还有一个很重要的因素就是性价比了，Semgrep是基于开发者的人数来计算的，网站报价40$/人/月，如果企业合作，应该还可以谈一个相对优惠的价格；Checkmarx是基于扫描的项目+开发者人数计算的；CodeQL的报价可以参考：https://github.com/pricing，企业版19.25￥$/人/月。

当然选择一个工具需要综合考虑所有的方面，才能选择一个相对更加适合企业的工具。即使综合考虑各个方面之后做出了选择，在实际使用的过程中还是会遇到各种问题，这时，厂家能够及时提供有效的支持就很重要。

最后一个也是最重要的因素就是：厂家是否能够提供有效的渠道来及时解决使用中遇到的问题。例如：误报高，可以帮助你调优规则；使用的框架暂时不在支持之列，能够及时提供新版本支持该框架；产品使用时挂了，能够及时给出临时解决方案绕过问题等等。

参考：

SAST Scanner - Supported Languages and Frameworks

Supported languages and frameworks — CodeQL

Supported languages | Semgrep