ICLR 2025 | DADA：首个通用时序异常检测模型

Python_金钱豹

于 2025-03-09 10:45:00 发布

阅读量1.9k

点赞数 25

文章标签：人工智能自动化运维信息可视化架构

本文链接：https://blog.csdn.net/Python_cocola/article/details/146112958

版权

Towards A General Time Series Anomaly Detector With Adaptive Bottlenecks And Dual Adversarial Decoders

代码链接：https://github.com/decisionintelligence/DADA

摘要：时间序列异常检测在众多应用领域中发挥着关键作用。当前主流方法需针对各数据集训练独立模型，导致模型泛化能力受限，在训练数据稀缺的多元场景下异常检测性能显著下降。针对这一局限，本文提出构建通用型时间序列异常检测模型，通过跨域大规模预训练实现下游场景的广泛适配。为实现这一目标，需解决两大核心挑战：（1）如何在统一模型中满足不同数据集对信息瓶颈的差异化需求；（2）如何有效区分多元正常与异常模式，这对各类场景的异常检测效果至关重要。为解决上述挑战，本研究创新性地提出基于自适应瓶颈与双对抗解码器的通用时间序列异常检测框架（DADA）。该框架通过动态选择适配的信息瓶颈结构，并借助双解码对抗训练机制强化正常与异常序列的显著差异。我们在九个跨领域数据集上开展系统性实验验证，结果显示：经过多域数据预训练的DADA框架作为零样本异常检测器，其性能与针对各数据集专门训练的模型相比具有竞争力甚至更优。

1. 引言

时间序列异常检测在现实世界中发挥着重要的作用。有效的时间序列异常检测有助于及时发现问题并采取必要的措施来避免潜在的风险和经济损失。然而，现有的异常检测方法需要在特定场景构建训练集来支撑模型训练，尽管这些方法在某些场景起到了不错的效果，但他们的泛化能力有限，在某些数据缺失的场景下异常检测性能显著下降。针对这一局限，本文提出构建通用型时间序列异常检测模型，通过跨域大规模预训练实现下游场景的广泛适配。为实现这一目标，需要解决两大核心挑战：

挑战一：如何在统一模型中满足不同数据集对信息瓶颈的差异化需求。现有的异常检测方法强调通过Auto-Encoder结构理解数据的正常模式。信息瓶颈被认为是高效压缩原始数据的内在信息与有效重构之间的权衡。过大的信息瓶颈可以有效重构数据，但会使模型拟合不必要的噪声；过小的信息瓶颈有助于压缩数据的内在信息，但会导致模型难以进行有效重构。现有的异常检测方法为特定场景调整合适的信息瓶颈大小，这导致在面临多源预训练数据时泛化能力的不足而难以有效迁移到下游场景。

挑战二：如何有效区分多元正常与异常模式。一个能够实现通用异常检测的模型不仅需要对特定场景的正常模式有清晰的理解，同时需要对多样化的正常和异常模式有着清晰的辨别。现有的异常检测方法通常基于单分类假设而只学习特定场景的正常模式。由于数据的正常与异常模式的分布在不同领域之间有所不同，仅仅学习特定领域的正常模式是不足够的。多源预训练数据有着更多样的异常形式，正常数据与异常数据之间的决策边界也变得更为复杂，导致传统方法难以进行有效区分。

2. 模型方法

预训练阶段，我们将正常时序数据与通过异常注入生成的含噪声扰动的异常时序数据（无需人工标注）一并输入模型进行训练。原始数据首先经过Patch Embedding处理，并应用了位置互补掩码技术。随后，这些数据被送入编码器（Encoder）中转换为特征表征。接下来，这些特征表征会进入自适应瓶颈层（Adaptive Bottlenecks），这一模块能够自适应地筛选出适合数据重构的信息瓶颈。最后，通过双解码器分别对正常和异常数据进行重构，并依据重构误差来指导模型的学习过程。

2.1 自适应瓶颈层

如前所述，DADA是在多域时间序列数据集上进行预训练，并应用于广泛的下游场景。这要求DADA能够从那些在数据分布、噪声水平等方面存在显著差异，并对瓶颈表现出明显偏好的多域时间序列数据集中学习可推广的表示。因此，我们创新性地从动态信息瓶颈的角度考虑了模型面临大规模多源数据时的泛化能力，提出了一种集成自适应路由器和瓶颈池的自适应瓶颈模块（AdaBN），为多域时间序列动态分配合适的瓶颈，增强了模型的泛化能力，使其能够直接应用于各种目标场景。

我们将特征压缩至不同大小的潜空间来实现不同信息密度的信息瓶颈。为了满足预训练数据多样的信息瓶颈需求，我们设置了涵盖不同信息瓶颈大小的信息瓶颈池，他们将输入特征压缩至不同的潜空间大小。每个信息瓶颈的处理过程可以表示为：

由于潜在空间的信息容量与数据的信息密度不匹配，不加选择地使用瓶颈池中的所有瓶颈会降低模型的性能。理想的模型应该基于时间序列数据的内在属性动态地分配适当的瓶颈。因此，我们引入了自适应路由器，一种动态分配策略，可以灵活地选择每个时间序列的瓶颈大小，以满足灵活的重建需求。该自适应路由器利用路由函数从瓶颈池中生成每个瓶颈的选择权值。为了避免重复选择某些瓶颈，导致相应的瓶颈被重复更新，而忽略了其他可能合适的瓶颈，我们添加了噪声项来增加随机性。得到路由函数的总体公式为：

为了鼓励模型更新关键的瓶颈，我们选择K个权重最高的瓶颈。最终，我们为更重要的瓶颈分配更高的权重，并将他们的输出融合为：

2.2 双解码器对抗训练

为了成功实现异常检测的目标，我们使用特征提取器和正常解码器来学习正常数据的模式。正常数据的损失函数 (Eq.(1)) 可以表示为：

然而，仅仅学习捕捉正常模式不足以检测新场景中的异常情况。作为一种通用的时间序列异常检测模型，该模型将面对具有多种异常表现的多领域数据，有些模式可能只针对某一领域，而不能跨领域推广，使得决策边界更加复杂。因此，我们需要显式地增强模型区分正常模式和一些常见异常模式的能力。

我们将代表常见异常模式的带有噪声扰动的异常序列纳入预训练阶段，并提出了一个对抗性训练阶段，该阶段对正常序列的重构误差最小化，而对异常序列的重构误差最大化。简单地扩大异常数据的重构误差会混淆特征提取器的学习，因此，我们引入异常解码器，通过对抗性训练来限制模型，并鼓励特征提取器对正常模式的学习。我们寻求异常数据重构损失最大的特征提取器的参数，使表征中包含的异常信息尽可能少，同时寻求异常解码器的参数，使异常数据重构损失最小，以学习异常模式。异常序列的重构损失 (Eq.(2)) 可以表示为:

2. 模型训练

如上所述，总体优化目标是寻求使Eq.(2)最大化的特征提取器参数，同时寻求使Eq.(2)最小化的异常解码器参数。此外，我们寻求使Eq.(1)最小化。我们在特征提取器和异常解码器之间采用梯度反转层（GRL）。GRL改变异常解码器的梯度，将其乘以−λ，传递给。也就是说，将特征提取器的损失函数的偏导数替换为，这将不同优化目标的参数导向梯度下降所需的方向，从而避免了两次单独优化的需要。最后，我们的目标可以通过以下方式形式化：

2. 实验效果

在实验中，为了验证模型的有效性，我们在 9 个常用的领域各异的异常检测评估数据集上进行了实验，并与现有的 19 个异常检测模型进行了比较，如下表所示。文中提出的模型经过在多源数据集上预训练，可以直接作为新数据集的 zero-shot 异常检测器，比起针对每个数据集进行端到端训练的模型，DADA取得了更优的结果。

如下表所示，我们深入探究了自适应瓶颈层、对抗训练机制以及双解码器对DADA异常检测能力的影响。其中，第二行的结果表示移除对抗机制而直接最大化异常数据的重构误差。第三行的结果表示仅使用一个解码器来重构正常与异常数据。我们观察到w/o Adversarial出现了效果的下降，这是由于当直接最大化异常时间序列时，异常解码器可以通过产生任意重构结果来达到这一目的，从而破坏编码器对正常模式的建模能力，进一步说明了对抗机制的重要性。同时，使用单一解码器来同时解码正常与异常数据也会导致检测性能的下降，说明了双解码器的重要性。

我们将DADA在下游数据集上进行进一步的Fin-tune。通过预训练，DADA获取了强大的泛化能力以及不同场景下zero-shot的异常检测能力。如下图所示，通过在下游场景进一步进行Fine-tune，DADA的检测效果得到进一步的提升。

我们对比了不同瓶颈层大小的模型效果，结果显示，不同数据集对瓶颈层大小的偏好各异，固定瓶颈层大小的模型在不同数据集上的表现不够稳定。相对而言，自适应瓶颈层能够根据数据集特点动态调整，从而在各个数据集上都能取得更优的效果。此外，文中同样将 Baseline 进行大规模预训练并直接进行异常检测，发现它们的泛化能力并未达到理想效果。这一对比进一步说明了对于一个通用异常检测模型，大规模数据预训练以及独特的模型设计缺一不可。

在原论文的附录中，我们还比较了自适应瓶颈层（AdaBN）和MoE。AdaBN和MoE有着不同的动机与结构设计，MoE无法解决在多源预训练场景下不同数据需要不同瓶颈的问题。如下表所示，MoE 256在不同数据集上的表现差异较大，在一些信息瓶颈大小不合适的数据集上MoE 256的效果出现了下降。相比之下，具备AdaBN的DADA在所有数据集上表现一致，并且与MoE 256相比，在SWaT、GECCO和Creditcard上显示出显著的改进，这与AdaBN设计背后的动机一致，即需要自适应地选择模型的瓶颈大小。

结论

本文介绍了一种新颖的通用时间序列异常检测模型DADA。通过在广泛的多领域数据集上进行预训练，DADA能够无需微调即可应用于众多下游场景中。我们提出了自适应瓶颈，以在一个统一模型中满足针对不同数据集的信息瓶颈多样化需求。此外，还引入了双重对抗解码器，以显著增强正常模式与异常模式之间的清晰区分度。大量实验表明，作为一种零样本检测器，DADA即便与那些针对每个特定数据集量身定制的模型相比，依然能达到具有竞争力甚至更优的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述