CodeQL漏洞挖掘实战

CodeQL漏洞挖掘实战

CodeQL是一个白盒源码审计工具，它以一种非常新颖的方式组织代码与元数据，使研究人员能够“像查询数据库一样检索代码”，并发现其中的安全问题。GitHub于去年收购了开发CodeQL的公司Semmel，并与其联合成立了GitHub Security Lab，Semmel在此前推出了面向开源社区和企业的源代码分析平台LGTM，这个平台能够自动化的发现并预警GitHub上开源软件的安全问题，同时，与CodeQL一样对开源社区与开发者保持免费。

本文将从CodeQL的基础知识出发，跟随GitHub Security Lab发布的互动式体验课程[1]，带领读者认识CodeQL在代码审计中的实际应用——在特定版本的uboot源码中发现多个安全问题，通过一段CodeQL查询语句定位到9个CVE漏洞。

一、CodeQL工作原理

CodeQL的整体工作流程[2][3]如下图所示：

CodeQL的查询需要建立在一个数据库的基础之上，这个数据库是通过Extractor模块对源代码进行分析、提取后得到的。数据库建立之后，我们就可以使用CodeQL去探索源码，并发现代码中的一些已知问题。

对于编译型语言，CodeQL会在建立数据库时“模拟”编译的过程，在make等编译工具链调用gcc等编译器时，用相同的编译参数调用extractor模块取而代之，收集源代码的所有相关信息，如AST抽象语法树、函数变量类型、预处理器操作等等。对于解释型语言，因为没有编译器的存在，CodeQL会以跟踪执行的方式获取类似的信息。

二、CodeQL使用

使用CodeQL CLI对代码仓库运行分析[4]后，我们就得到了一个“快照数据库”[5]（SnapshotDatabase），这个数据库中存储了代码仓库在特定时间点（数据库建立时）的层级表示方式，包括AST语法树、CFG控制流程关系和DFG数据流向关系。在这个数据库中，代码中的每一个要素，比如函数定义（Function）、函数调用（FunctionCall）、宏调用（MacroInvocation）都是可以被检索的实体。在这些基础上，我们再编写CodeQL语句对代码进行分析。

CodeQL环境的安装在这里不再赘述，在官方教程[6]与本文涉及的课程内容中[7]都有详细说明。在VSCode中导入数据库之后，我们就可以开始编写第一条CodeQL语句了。

三、基本语法

我们以字节序转换函数为例，查找uboot代码库中ntohs、ntohl、ntohll的定义。

从上面的代码段中我们可以看到，CodeQL遵循与SQL相似的基本语义：select … from … where …。但不同的是CodeQL中又加入了面向对象的思想，比如m.getName()可以获取查询对象的名字，再调用另一个函数进行正则匹配获得我们最终需要的名称匹配逻辑表达式。本例CodeQL的运行输出如下图所示，表格中每一行的蓝色代码片段都可以点击跳转到uboot代码库中，相应宏的定义位置。

常用的几种查询对象类型：

• Function 函数定义、函数声明
• FunctionCall 函数调用
• Macro 宏定义
• MacroInvocation 宏调用
• Expr 表达式
• AssignExpr 赋值表达式（是Expr的子集）
• ConditionalStmt 条件表达式

通过上面的方式，我们可以使用CodeQL对代码中的基本单元进行查询检索。更进一步，我们可以定义class将复杂的判断条件进行封装，输出更精确的结果。

我们对上一个例子中宏调用的查询进行延申，通过定义一个NetworkByteSwap类，这个类代表符合“某些特征”的表达式的全集，在本例中，我们限定我们需要的是包含ntohs、ntohl宏调用的表达式，并通过from n select n的方式将它们简单的列举出来

以上CodeQL语句的输出如下图所示。

我们点击返回的第1条结果，可以看到编辑器会跳转到表达式所在的文件，并将整条表达式选中高亮起来，非常直观。

学到现在，我们就可以用CodeQL来尝试一下挖漏洞了！

回忆上一步，我们定义了一个NetworkByteSwap类，用于筛选出调用ntohs的表达式。接下来，我们引入CodeQL中的污点跟踪模块，指定这些表达式为污点源（source），并设置数据汇聚点为memcpy的第3个参数。根据Linux的manpage[8]，memcpy函数的第3个参数是待复制数据块的长度，因为ntohs是进制转换的函数，因此通过ntohs输入的数据很有可能是用户可控的参数值，通过这条路径传递给memcpy，就能转化为用户可控的内存操作。这就是漏洞的根源。将这个数据流关系转化为CodeQL代码如下。

我们只在上一个例子的基础上增加了约20行代码，运行之后，得到9条结果，根据课程介绍[9]，此时应该可以得到9个CVE漏洞了。但笔者才疏学浅，根据CVE漏洞库中的描述，粗略统计过后，能直观看出的漏洞点的CVE漏洞有6个，各位读者可以自行尝试。

这就是整个U-Boot Challenge课程的尾声，用40行的代码，挖出了一箩筐CVE漏洞。

四、结语

代码审计并不是什么新兴领域，业界、学术界我们都能找到很多成熟的工具，如Fortify SCA、RIPS、Coverity等等，商业软件如Fortify提供了非常完善的规则库，它们能够快速、自动化的发现通用型的安全问题。而CodeQL更接近于一个分析框架，它赋能研究人员对审计目标进行更为复杂的安全建模，但同时也更依赖研究者对审计目标、底层技术有更为深入的理解。简单的漏洞可以靠工具发现，更复杂的漏洞就需要靠人去挖掘了。CodeQL作为一个分析框架，在专家经验的加持下，才能够发挥其最大的功效，这是它的缺点，但它作为一个框架，能够提供丰富的API和简洁的语义使研究者能够快速验证分析思路、发现特定场景产生的漏洞，这种高度自由也是其不可忽视的优点。

但它作为一个框架，能够提供丰富的API和简洁的语义使研究者能够快速验证分析思路、发现特定场景产生的漏洞，这种高度自由也是其不可忽视的优点。

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；

国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2022年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才 需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！