溯源入侵检测

为什么我们需要溯源图?[1]

大约8年前，美国国防部高等计划研究署（DARPA）启动了一项名为透明计算（Transparent Computing[1*]）的项目，希望找到一种方式能够抽象并还原计算机系统中系统对象之间的交互，从而找到其中可疑的行为进行威胁发现，拉开了利用溯源图进行威胁检测研究的序幕。在之后的几年中，以此为研究对象的文章在安全领域的四大会议（IEEE S&P，CCS，Usenix Security，NDSS）上发表了几十篇文章。那么溯源图如何帮助提升了网络空间中威胁检测的效果？又为什么能得到如此多的关注呢？

研究问题（Research Question）：
RQ1. APT检测的难题：高级持续性威胁（Advanced Persistent Threat）往往采用隐蔽的攻击形式，在很长的一段时间内缓慢的渗透入目标系统并长期潜伏以达到攻击目的。因为其缓慢又隐蔽的特性，传统的防御手段往往很难对其实施有效的监控。
RQ2. 用什么数据什么结构准确地表示一个威胁行为的问题：用什么方式表示一个威胁或攻击行为一直以来被研究者关注。不同的表示方式都有其优点与缺点，很难给出一个绝对的判断，应该根据不同场景做不同选择。举例来说，现在常用的威胁情报（IoC）使用非常简单的数据，包括恶意的IP、恶意文件的Hash，几乎没有任何鲁棒性可言，但却是现实中常用的安全工具，有效的保护了许多系统的安全。其他常见的方式还包括，系统调用的序列、API调用树、代码动态执行图等。一般而言，简单的结构意味着更高的效率，但表达能力更差，误报的概率更高。而复杂的结构，表达能力更好的同时检测效率却受到影响。
RQ3. 如何设计检测算法权衡威胁检测的响应速度与检测精度矛盾：威胁检测的系统的响应速度很大程度的影响了该系统的应用场景和价值。响应速度越快，就能越早的定位并阻止进一步的攻击发生，从而尽可能的减小损失。但是鱼与熊掌往往不可得兼，效率高、响应速度快的速度在检测能力上往往不如响应速度慢、收集数据更加全面的系统。现有的系统都尝试在响应速度和检测精度之间找到一个行之有效的平衡点。
RQ4. 如何设计存储系统以权衡存储空间与查询效率之间的矛盾：如前面所说，高级持续性威胁往往是“low and slow”的，攻击的周期可能长达几十天。此外，为了保护系统安全，日志系统往往需要保存很长一段时间内的日志以便事后的取证（Digital Forensic）分析。因此系统有很强的存储的日志的需求。对一个大公司来说，这可能以为着PB级的存储以及百万美元的开销。因此日志存储系统的设计和针对性的数据压缩算法也是必不可少的。

溯源图的相关定义

溯源（Provenance）这个概念在安全领域已经被广泛的使用了很长的一段时间[2*]，包括用于保护数据库完整性等，在这里我们说的溯源图主要是指系统对象之间交互关系的溯源关系图（System-level Provenance Graph），如下图所示：

图中主要涉及到两种节点，既实施操作的主体（Subject，主要包括进程、线程、服务、用户等）与被动接受的客体（Object，主要包括文件、注册表、网络端口等）。连接这些节点的边根据不同的定义方式有很多，但主要包括以下几种：

总之，利用这些边和节点，溯源图可以表示出系统对象之间的数据流与控制流关系，从而将存在因果联系（Causality）的节点连接起来，无论两个节点之间相隔多少的其他节点，或者发生时间相差多少。以RQ1中的高级持续性威胁为例，无论攻击如何隐蔽与缓慢，我们都可以在溯源图中找到对应的节点与因果联系，从而对其进行有效的检测。

同时研究人员们提出了很多有效也很有趣的算法。比如通过高效的图上标签传递加状态转移来取代低效的图匹配操作，从而大幅度提升检测效率等。有效的缩短了检测的时间，提高了检测效果。以及如何在保持溯源图溯源特性的情况下，尽可能的删减数据以节约存储空间提升查询效率。

使用溯源图的优势

1. 溯源图通过表示系统对象之间的交互关系来显示系统执行的过程。对于所有执行过程来说，这种依赖关系是固有的。像Audit log这样的非结构化日志也可以转换为溯源图。
2. 溯源图支持具备语义感知和健壮性的检测。与非结构化审计日志相比，具有空间和时间信息的溯源图更难以被攻击者伪造。此外，溯源图提供了更丰富的语义。因此，安全分析人员可以进行更有效和彻底的攻击研究。
3. 溯源图保存系统所有的执行历史。APT攻击是一种持续时间长、隐蔽性强的攻击。为了研究此类攻击，分析人员需要访问并了解整个攻击历史。实际上，系统执行历史对于需要索引攻击点的任何攻击，以及了解攻击的危害都是必要的。

基于溯源图的攻击检测系统

设计基于溯源图的攻击检测系统需要考虑的四个研究问题：

RQ1：如何在保持语义的同时尽可能减少数据存储的大小?
RQ2：如何平衡溯源图存储的空间效率和查询的时间效率?
RQ3：如何设计一个高效、鲁棒的入侵检测算法，平衡 true-positives 和 fasle-positives ?
RQ4：如何尽可能缩短检测的响应时间?

参考文章链接

[1] 基于溯源图的入侵检测（1）- 为什么我们需要溯源图 & 溯源图的基本概念介绍
[2] 溯源图攻击检测综述《Threat Detection and Investigation with System-level Provenance Graphs: A Survey》笔记

参考论文链接

[1*] https://www.darpa.mil/program/transparent-computing
[2*] Threat Detection and Investigation with System-level Provenance Graphs: A Survey https://arxiv.org/abs/2006.01722