Detecting Unknown Encrypted Malicious Traffic in Real Time via Flow Interaction Graph Analysis 翻译

加密流量检测面临问题

如今互联网上的流量已经被广泛加密以保护其机密性和隐私性。然而，流量加密总是被攻击者滥用以掩盖其恶意行为。由于加密的恶意流量具有与良性流量相似的特征，因此可以很容易地规避传统的检测方法。特别地，现有的加密恶意流量检测方法都是有监督的，依赖于已知攻击(例如,有标签的数据集)的先验知识。实时检测未知加密恶意流量不需要先验领域知识，仍然是一个开放性问题。

本文工作

本文提出了一种基于无监督机器学习的实时恶意流量检测系统Hyper Vision。特别地，HyperVision能够利用基于流量模式构建的紧凑无记忆图来检测加密恶意流量的未知模式。该图捕获了由图结构特征表示的流交互模式，而不是特定已知攻击的特征。我们开发了一种无监督的图学习方法，通过分析图的连通性、稀疏性和统计特征来检测异常的交互模式，这使得HyperVision可以检测各种加密的攻击流量，而不需要任何已知攻击的标记数据集。此此外，我们建立了一个信息论模型，证明了图所保存的信息接近理想的理论界。我们通过92个数据集的真实实验展示了HyperVision的性能，其中包括48个加密恶意流量的攻击。实验结果表明，HyperVision取得了至少0.92的AUC和0.86的F1值，显著优于当前最好的方法。特别地，在我们的实验中，超过50 %的攻击可以逃避所有这些方法。此外，HyperVision实现了至少80.6 Gb / s的检测吞吐量，平均检测延迟为0.83 s。

背景

为了保护互联网上传输的信息，流量加密被广泛采用。2019年超过80 %的网站采用HTTPS来防止数据泄露[ 16 ] [ 62 ]。然而，用于这种保护的密码是双刃剑。特别地，加密流量还允许攻击者隐藏其恶意行为，例如恶意软件活动[ 2 ]、利用漏洞[ 64 ]和数据泄露[ 77 ]。互联网上加密恶意流量的比例正在显著增长[ 2 ]、[ 3 ]、[ 76 ]，并超过整个恶意流量的70 % [ 16 ]。然而，由于低速率（可能是解析速率慢）和多样化（协议多样化）的流量模式[ 2 ]，[ 39 ]，[ 77 ]，加密的恶意流量检测并没有得到很好的解决。传统的基于签名的利用深度包检测( Deep Packet Inspection，DPI )的方法在加密载荷的攻击下是无效的[ 34 ]。

1. 基于签名的方法：这通常指的是一种检测技术，它通过匹配已知的恶意软件或攻击模式的“签名”来识别威胁。这些签名是恶意行为的特征码，可以是特定的字节序列、行为模式或其他可识别的模式。

表1比较了现有的恶意流量检测方法。与明文恶意流量不同，加密流量具有类似于良性流的特征，因此可以逃避现有的基于机器学习( Machine Learning，ML )的检测系统[ 2 ]，[ 3 ]，[ 62 ]。特别地，现有的加密流量检测方法是有监督的，即依赖于已知攻击的先验知识，并且只能检测具有已知流量模式的攻击。他们提取特定已知攻击的特征，并使用已知恶意流量的标记数据集进行模型训练[ 2 ]，[ 3 ]，[ 76 ]。因此，它们无法检测具有加密流量的多种攻击[ 39 ]、[ 41 ]、[ 64 ]、[ 77 ]，这些攻击都是用未知的模式构造的[ 22 ]。此外，由于加密和非加密攻击流量的特征显著不同[ 2 ]，[ 3 ]，这些方法无法同时检测有加密流量和无加密流量构造的攻击，也无法实现通用检测。

简而言之，现有的方法无法实现无监督检测，也无法检测模式未知的加密恶意流量。特别地，加密的恶意流量具有隐蔽性行为，无法被根据单个流模式进行检测的方法检测出来。然而，检测此类攻击流量仍然是可行的，因为这些攻击涉及多个攻击步骤，攻击者和受害者之间的流交互不同，这不同于良性的流交互模式[ 24 ] [ 26 ] [ 39 ] [ 46 ] [ 61 ]。例如，垃圾邮件机器人和SMTP服务器之间的加密流交互显著不同于合法通信[ 61 ]，即使攻击的单个流类似于良性流。因此，本文探索利用各种流之间的交互模式进行恶意流量检测。

最后，我们提出了一个实时检测系统HyperVision，旨在通过分析流之间的交互模式来捕获加密恶意流量的足迹。特别地，它可以通过识别异常的流交互，即与良性流不同的交互模式，来检测具有未知足迹的加密恶意流。为了实现这一点，我们构建了一个紧凑的图来捕获各种流交互模式，以便HyperVision可以根据该图对各种加密流量进行检测。该图允许我们在不访问数据包负载的情况下检测攻击，同时保留了使用明文流量检测传统(已知)攻击的能力。因此，HyperVision可以通过学习图结构特征来检测具有未知模式的恶意流量。同时，通过学习图结构特征，实现无监督检测，不需要有标记数据集进行模型训练。

然而，构建用于实时检测的图是具有挑战性的。我们不能简单地使用IP地址作为顶点，传统的流量四元组特征[ 19 ]，[ 36 ]作为边来构建图，因为生成的稠密图无法维护各种流之间的交互模式，例如，引发了依赖爆炸问题[ 87 ]。受流大小分布研究[ 25 ] [ 84 ]的启发，即互联网上的大多数流是短流，而大多数数据包与长流相关联，我们采用两种策略记录不同大小的流，并在图中分别处理短流和长流的交互模式。具体来说，它基于互联网上海量短流（短流量是指在网络中持续时间较短或数据量较小的流量。）的相似性对短流进行聚合，降低了图的密度，并对长流进行分布拟合，可以有效地保留流交互信息。

交互图的构建

我们设计了一种四步轻量级无监督图学习方法，通过利用图上维护的丰富流量交互信息来检测加密的恶意流量。首先，我们通过提取连通分量并聚类高级统计特征来分析图的连通性，并识别异常分量。通过排除良性分量，我们也显著减少了学习开销。其次，我们根据观察到的边缘特征中的局部邻接性预聚类边缘（预聚类边缘是指在图学习方法中，根据边缘的局部邻接性特征，预先将边缘分组，以减少特征处理的开销，并确保能够实现实时检测加密恶意流量。这种方法通过减少需要单独分析的边缘数量，提高了整个检测过程的效率）。预聚类操作显著减少了特征处理开销，并确保了实时检测。第三，我们使用Z3 SMT求解器解决顶点覆盖问题来提取关键顶点，以最小化聚类数量（这样做可以最小化后续需要进行聚类的顶点数量）。最后，我们根据其连接的边缘对每个关键顶点进行聚类，这些边缘是在预聚类（预聚类的目的是在进行更深入的分析之前，对数据进行初步的分组或分类，以简化问题、减少计算复杂度，并可能提高后续分析的效率和效果）产生的簇中心，从而获得指示加密恶意流量的异常边缘。

分析连通->根据连边进行预聚类->提取关键顶点->关键顶点聚类（发现检测异常流量的基准边）

测评方法

此外，为了量化基于图的HyperVision流量记录相对于现有方法的优势，我们开发了一个流量记录熵模型，这是一个基于信息论的框架，理论上分析了恶意流量检测系统中现有数据源保留的信息量。通过使用这个框架，我们展示了现有的基于采样和基于事件的流量数据源（例如，NetFlow [19] 和 Zeek [86]）无法保留高保真流量信息。因此，它们无法记录用于检测的流量交互信息。但是，HyperVision中的图捕获了接近最优的流量信息，用于基于图学习的检测，图中保留的信息量接近于根据数据处理不等式 [85] 理想化数据源无限存储的理论上限。此外，分析结果表明，HyperVision中的图实现了比所有现有数据源更高的信息密度（即每单位存储的流量信息量），这是准确和高效检测的基础。

实验条件以及系统性能

我们使用英特尔的数据平面开发工具包（DPDK）[37]原型化了HyperVision1。为了全面评估原型的性能，我们重放了包括在我们虚拟私有云（VPC）中收集的80个新数据集在内的92个攻击数据集，VPC中有超过1500个实例。在VPC中，我们收集了48种典型的加密恶意流量，包括：(i) 加密洪水流量，例如，淹没目标链接[41]；(ii) 网络攻击，例如，利用Web漏洞[64]；(iii) 恶意软件活动，包括连接性测试、依赖性更新和下载。在重放骨干网络流量[80]的背景流量存在的情况下，HyperVision在五种最先进的方法上实现了13.9%至36.1%的准确率提升。它以无监督的方式检测所有加密恶意流量，AUC（曲线下面积）超过0.92，F1分数为0.86，其中44个现实世界的隐蔽流量无法被所有基线方法识别，例如，利用CVE-2020-36516[26]的高级侧信道攻击和许多新发现的加密劫持攻击[7]。此外，HyperVision平均实现了超过100 Gb/s的检测吞吐量，平均检测延迟为0.83秒

论文贡献

综上所述，本文的贡献有五点：

• 我们提出了HyperVision，这是首个利用流量交互图实时无监督检测未知模式加密恶意流量的系统。
• 我们开发了几种算法来构建内存中的图，使我们能够准确捕获不同流量之间的交互模式。
• 我们设计了一种轻量级的无监督图学习方法，通过图特征来检测加密流量。
• 我们建立了一个由信息论确立的理论分析框架，以证明图捕获了接近最优的流量交互信息。
• 我们原型化了HyperVision，并使用各种现实世界的加密恶意流量进行了广泛的实验，以验证其准确性和效率。

论文结构

本文的其余部分组织如下：第二节介绍了HyperVision的威胁模型（HyperVision的威胁模型指的是在设计和实现HyperVision系统时所考虑的潜在安全威胁和攻击场景）。第三节展示了HyperVision的高层设计。在第四、第五和第六节中，我们描述了详细设计。在第七节中，我们进行了理论分析。在第八节中，我们实验性地评估了性能。第九节回顾了相关工作，第十节对本文进行了总结。最后，我们在附录中呈现了细节。

HyperVision的威胁模型

我们的目标是开发一个实时系统（即HyperVision），用于检测加密的恶意流量。它根据路由器通过端口镜像复制的流量进行检测[17]，这确保了系统不会干扰流量转发。在识别出加密的恶意流量后，它可以与现有的路径上的恶意流量防御系统[48]、[49]、[88]合作，来限制被检测到的流量。为了对加密流量进行检测，我们不能解析和分析应用层的头部和有效载荷。

在本文中，我们专注于检测使用加密流量构建的主动攻击。我们不考虑不生成流量到受害者的被动攻击，例如流量窃听[68]和被动流量分析[70]。根据现有研究[10]、[24]、[29]、[40]、[46]、[81]，攻击者利用侦察步骤来探测受害者的信息，例如受害者的密码[39]、TLS连接的TCP序列号[26]、[27]以及Web服务器的随机化内存布局[75]，这些信息由于缺乏先验知识，攻击者无法直接访问。请注意，这些攻击通常由攻击者拥有或伪造的多个地址构建。

HyperVision的设计目标如下：首先，它应该能够实现通用检测，即检测使用加密或非加密流量构建的攻击，这确保了攻击无法通过流量加密来逃避检测[2]、[77]。其次，它能够实现实时高速流量处理，这意味着它能够在产生低检测延迟的同时，识别经过的加密流量是否恶意。第三，HyperVision执行的检测是无监督的，这意味着它不需要任何关于加密恶意流量的先验知识。也就是说，它应该能够应对未知模式的攻击，即尚未公开的零日攻击[30]。因此，我们不使用任何标记过的流量数据集进行机器学习训练。这些问题无法通过现有的检测方法很好地解决[62]。

HyperVision概述

在本节中，我们开发了HyperVision，它是一个无监督检测系统，用于实时捕获恶意流量，特别是加密的恶意流量。通常，加密恶意流量中每个流的模式，即单流模式，可能与良性流量相似，这使它们能够逃避现有的检测。然而，攻击者和受害者之间交互模式中出现的恶意行为将与良性行为更为不同。因此，在HyperVision中，我们构建了一个紧凑的图来维护不同流量之间的交互模式，并通过学习图的特征来检测异常交互模式。HyperVision分析代表交互模式的图结构特征，无需事先了解已知的攻击流量，从而可以实现针对各种攻击的无监督检测。它通过分析流量而不考虑流量类型，实现了通用检测，并能检测加密和非加密的恶意流量。图1显示了HyperVision的三个关键部分，即图构建、图预处理和异常交互检测。

1. 图构建。HyperVision收集网络流量以构建图。同时，它将流量分类为短期和长期流量，并分别记录它们的交互模式，目的是减少图的密度。在图中，它使用不同的地址作为顶点，分别连接与短期和长期流量相关的边。它将大量相似的短期流量聚合起来构建一组短期流量的边，从而减少了维护流量交互模式的开销。此外，它拟合长期流量中的数据包特征分布来构建与长期流量相关的边，这确保了高保真度记录的流量交互模式，同时解决了传统方法中粗粒度流量特征的问题[36]。我们将在第四部分详细说明HyperVision如何在内存图中保持高保真度的流量交互模式。
2. 图预处理。我们对构建的交互图进行预处理，以减少处理图的开销，通过提取连通分量并使用高级统计数据对这些分量进行聚类。特别是，聚类能够准确地检测出仅包含良性交互模式的分量，因此可以过滤掉这些良性分量，从而缩小图的规模。此外，我们执行预聚类，并使用生成的簇中心来代表已识别簇中的边。我们将在第五部分详细介绍图预处理。
3. 基于图的恶意流量检测。我们通过分析图特征实现无监督加密恶意流量检测。我们通过解决顶点覆盖问题来识别图中的关键顶点，这确保了基于聚类的图学习以最小数量的聚类处理所有边。对于每个选定的顶点，我们根据它们的流量特征和代表流量交互模式的结构特征对所有连接的边进行聚类。HyperVision可以通过计算聚类的损失函数实时识别异常边。我们将在第六部分描述基于图学习的检测的详细信息。

HyperVision的图构建

在本节中，我们介绍了构建流量交互图的设计细节，该图维护了不同流量之间的交互模式。特别是，我们对不同类型的流量进行了分类，即短期流量和长期流量，并分别对短期流量进行了聚合，对长期流量进行了分布拟合，以实现高效的图构建。在第七节中，我们将展示该图为检测保留了接近最优的信息。

1. 流量分类（分为长短流量）

为了有效分析在互联网上捕获的流量，我们需要在图构建过程中避免流量之间的依赖性爆炸。我们根据流量大小分布[25]（见图2），将收集到的流量分类为短期流量和长期流量，然后降低图的密度（如图3所示）。图2显示了2020年1月MAWI互联网流量数据集[80]的流量完成时间（FCT）和流量长度的分布。为简化起见，我们使用前13×10^6个数据包来绘制这个图表。根据图表，我们观察到只有5.52%的流量FCT超过2.0秒。然而，数据集中93.70%的数据包属于长期流量，仅占2.36%的比例。受此观察启发，我们对短期流量和长期流量应用了不同的流量收集策略。

我们从数据平面高速数据包解析引擎轮询每个数据包的信息，获取它们的源地址和目的地址、端口号以及每个数据包的特征，包括协议、长度和到达间隔。这些特征可以从加密和纯文本流量中提取，用于通用检测。我们开发了一个流量分类算法来对流量进行分类（见附录A中的算法1）。它维护一个计时器TIME NOW，一个哈希表，使用HASH(SRC, DST, SRC PORT, DST PORT)作为键，以及按其每个数据包特征的序列表示的收集到的流量作为值。它根据TIME NOW每秒遍历哈希表JUDGE INTERVAL次，并在最后一个数据包在TIME NOW之前PKT TIMEOUT秒（数据包之间的传输时间阈值）到达时判断流量完成。当流量完成时，如果流量包含超过FLOW LINE个数据包，我们将其分类为长期流量。否则，我们将其分类为短期流量。如图2(b)所示，我们可以准确地分类短期和长期流量。超参数的定义可以在表VII中找到（见附录A）。请注意，我们从数据平面轮询无状态的每个数据包信息，同时不维护数据平面上的流量状态（例如，状态机[89]），以防止攻击者操纵状态，例如侧信道攻击[65]和逃避检测[79]。

1. 短流聚集

我们需要降低图的密度以便进行分析。正如图3(a)所示，如果我们使用传统的四元组流量作为边，图将会非常密集，这类似于起源分析中的依赖性爆炸问题[83]、[87]。我们观察到大多数短期流量几乎具有相同的数据包特征序列。例如，来自特定攻击者的重复SSH破解尝试的加密流量[39]。因此，在分类后，我们执行短期流量聚合，用一条边表示相似的流量。

我们设计了一个算法来聚合短期流量（见附录A中的算法2）。当满足以下所有要求时，可以聚合一组流量：(i) 流量具有相同的源地址和/或目的地址，这意味着从地址生成的类似行为；(ii) 流量具有相同的协议类型；(iii) 流量数量足够大，即当短期流量的数量达到阈值AGG_LINE时，这确保了流量足够重复。接下来，我们为短期流量构建了一条边，它保留了所有流量的一个特征序列（即协议、长度和到达间隔），以及它们的四元组。结果，在图上存在与短期流量相关的四种类型的边，即源地址聚合、目的地址聚合、两个地址聚合以及不聚合。因此，连接到边的顶点可以表示一组地址或单个地址。 （不符合条件的短流量直接丢弃不进行分析）

图3比较了使用传统流量作为边的图和我们通过使用真实世界骨干流量数据集聚合的图，该数据集与图2中使用的相同。一个顶点的直径表示由顶点表示的地址数量，颜色的深度表示重复的边。在图3(b)中，我们观察到算法减少了93.94%的顶点和94.04%的边。以绿色突出显示的边表示利用漏洞的短期流量（即2.38 Kpps，来自PH）。请注意，流量聚合减少了存储开销，这使得维护用于实时检测的内存中图成为可能。

1. 长流特征分布拟合（使用长方图进行拟合）

现在我们使用直方图来表示长流量的每个数据包特征分布（每个长流量可能对应多个直方图，每个直方图针对一个特定的特征），避免了保留它们长的数据包特征序列，因为长流量中的特征是集中分布的。具体来说，我们维持一个哈希表，为每个长流量中的每个数据包特征序列构建直方图。根据我们的经验研究，我们分别为数据包长度和到达间隔设置了10字节和1毫秒的桶宽度，以在拟合精度和开销之间进行权衡。我们通过将每个数据包特征除以桶宽度来计算哈希码，并增加由哈希码索引的计数器。最后，我们记录哈希码和相关的计数器作为直方图。请注意，粗粒度的流量统计数据，例如数据包数量[36]，对于加密恶意流量检测[76]来说是不够的，这也丢失了流量交互信息[18]。

图4显示了图2中相同数据集的长流量所使用的桶数量和最大桶大小。我们确认了集中的特征分布，即长流量中的大多数数据包具有相似的数据包长度和到达间隔。具体来说，在图4(a)中，我们平均只使用11个桶来拟合数据包长度的分布，大部分桶收集了200多个数据包（见图4(b)），这证明了基于直方图的拟合在存储开销低的情况下是有效的。类似地，到达间隔的拟合平均使用121个桶，并实现了每个桶71个数据包的高利用率。此外，我们对协议也使用相同的方法。我们使用协议的掩码作为哈希码，并使用较少数量的桶来实现更有效的拟合，这是由于协议类型的数量有限。请注意，Flowlens[5]使用了类似的直方图来有效地利用P4交换机上的硬件流量表。相反，我们构建直方图是为了准确分析长流量。

HyperVision的图预处理

在本节中，我们对流交互图进行预处理，以识别关键组件并对边进行预聚类，从而能够对未知模式的加密恶意流量进行基于图学习的实时检测。

1. 连通性分析

为了执行图的连通性分析，我们使用深度优先搜索（DFS）来获取连通分量，并通过这些分量来分割图。图5(a)展示了2020年1月收集的MAWI流量数据集[80]中识别出的分量的大小分布。我们观察到大多数分量包含少量具有相似交互模式的边。因此，我们对连通分量进行高级统计数据的聚类，以捕获那些与正常分量相比，聚类损失（在聚类分析中，损失通常是指将数据点分配到簇中时的不相似性或偏差）超过一个数量级的异常分量，作为聚类异常值。具体来说，我们提取了五个特征来描述分量，包括：(i) 长期流量的数量；(ii) 短期流量的数量；(iii) 表示短期流量的边的数量；(iv) 长期流量中的字节数；以及 (v) 短期流量中的字节数。我们执行最小-最大归一化，并使用基于密度的聚类，即DBSCAN[32]，来获取中心。对于每个分量，我们计算它到最近中心的欧几里得距离。根据我们的经验研究，当一个分量的距离超过所有距离的99百分位数时，我们检测到一个异常分量。

图5(b)显示了一个聚类的实例，其中直径表示分量上流量的规模（单位为字节）。我们观察到大多数分量很小，并且很大一部分大型分量被分类为异常。与正常分量相关的所有边被标记为良性流量，与异常分量相关的边将由后续步骤进一步处理。

1. 边预聚类

现在我们需要进一步处理和预聚类图以实现高效检测。如图5所示，图中的异常分量拥有大量的顶点和边。特别是，我们不能直接应用图表示学习，例如图神经网络（GNN），来进行实时检测。图6显示了分量中边在图结构特征空间中的分布。我们观察到边的分布是稀疏的，即大多数边在特征空间中与大量相似的边相邻。为了利用这种稀疏性，我们使用DBSCAN[32]进行预聚类，它利用KD-Tree进行高效的局部搜索，并选择已识别簇的簇中心来代表每个簇中的所有边，以减少图处理的开销。

具体来说，我们为与短期和长期流量相关的边分别提取了八个和四个图结构特征（见附录A中的表V），例如，与长期流量相关的边的源顶点的入度。这些恶意流量的度特征与良性流量的显著不同，例如，表示垃圾邮件机器人的顶点由于频繁与服务器交互，其出度高于良性客户端。然后，我们对特征执行最小-最大归一化，并为DBSCAN聚类采用小搜索范围ε和大的最小点数（见第VIII-A节关于超参数设置），以避免在簇中包含不相关的边，这可能会引起误报。此外，一些边不能被聚类，应被视为异常值，将被处理为只有一个边的簇。

HyperVision的恶意流量检测

1. 关键节点的识别

为了高效地学习流量的交互模式，我们并不直接对所有边进行聚类，而是对连接到关键顶点的边进行聚类。对于每个连通分量，我们根据以下条件从分量（连通分量）中的所有顶点中选择一个子集作为关键顶点：(i) 每个边的源顶点和/或目的顶点都在子集中，这确保了所有边都连接到多个关键顶点并至少被聚类一次；以及 (ii) 子集中选定的顶点数量最小化，这旨在最小化聚类的数量，以减少图学习的工作量。找到这样的顶点子集是一个优化问题，等同于顶点覆盖问题[33]，该问题已被证明是NP完全的（NPC）。我们选择所有边和每个分量上的所有顶点来解决这个问题。我们将问题重新表述为一个可满足性模理论（SMT）问题，该问题可以有效地使用Z3 SMT求解器[55]来解决。由于我们预先对大量边进行了聚类并缩小了问题的规模（见第五节-B），NPC问题可以在实时中解决。

1. 边特征聚类用于检测

现在，我们对连接到每个关键顶点的边进行聚类，以识别异常的交互模式。在这一步中，我们使用了第五节-B中提到的结构特征，以及从短期流量的每个数据包特征序列中提取的流量特征，或者是长期流量的拟合特征分布。所有特征都显示在表V中（见附录A）。我们分别使用轻量级的K-Means算法对与短期和长期流量相关的边进行聚类，并计算聚类损失，这表明了恶意流量检测中的恶意程度。

在这段描述中，定义了一个用于检测恶意流量的聚类损失函数，其中 K 是获得的聚类中心数量，Ci 是第 i 个中心，f(edge) 是边的特征向量，C(edge) 包含了由预聚类产生的与边相关的所有边的簇，TimeRange 计算由边所表示的流量所覆盖的时间范围。根据方程（4），损失由三部分组成：(i) 第一部分 losscenter in (1) 是到聚类中心的欧几里得距离，这表明了与其他连接到关键顶点的边的差异；(ii) 第二部分 losscluster in (2) 表示由第五节-B中预聚类识别的簇所覆盖的时间范围，这暗示了持续时间长的交互模式往往是良性的；(iii) 第三部分 losscount in (3) 是由边所表示的流量的数量，这意味着大量流量的突发表明了恶意行为。此外，我们使用了权重：α、β、γ 来平衡损失项。最后，当边的损失函数大于阈值时，它将检测相关流量为恶意。