Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection

最新推荐文章于 2024-11-01 17:13:19 发布

UnknownBody

最新推荐文章于 2024-11-01 17:13:19 发布

阅读量501

点赞数 6

分类专栏： Time series 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136364583

版权

LLM 日更同时被 2 个专栏收录

828 篇文章 3 订阅

已下架不支持订阅

Time series

14 篇文章 1 订阅

订阅专栏

本文提出AnomalyLLM，一种利用大型语言模型（LLM）进行知识蒸馏的时间序列异常检测方法。在有限样本情况下，通过训练学生网络模仿预训练的LLM教师网络，检测特征差异大的异常。采用原型信号巩固正常特征提取，并使用合成异常扩大表示差距。在15个数据集上表现出SOTA性能，提升UCR数据集14.5%的准确性。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Large Language Model Guided Knowledge Distillation for Time Series
Anomaly Detection》的翻译。

摘要

由于缺乏可用的注释，自监督方法在时间序列异常检测中获得了突出地位。然而，它们通常需要大量的训练数据来获取可推广的表示图，这与少数可用样本的场景相冲突，从而限制了它们的性能。为了克服这一限制，我们提出了AnomalyLLM，这是一种基于知识蒸馏的时间序列异常检测方法，其中训练学生网络以模仿在大规模数据集上预训练的基于大型语言模型（LLM）的教师网络的特征。在测试阶段，当教师和学生网络的特征之间的差异很大时，就会检测到异常。为了避免学生网络学习教师网络的异常样本特征，我们设计了两个关键策略。1）原型信号被合并到学生网络中，以巩固正常的特征提取。2）我们使用合成异常来扩大两个网络之间的表示差距。AnomalyLLM在15个数据集上展示了最先进的性能，在UCR数据集中至少提高了14.5%的准确性。