LLM 研究重新定义 AI 在可持续系统保护中的作用

麻省理工学院（MIT）的新研究表明，大型语言模型（LLMs）正逐渐成为保护可再生能源、医疗健康或交通等关键基础设施系统的工具。 

该研究引入了零冲击 LLM 模型，用于检测复杂数据中的异常情况。使用 AI 驱动的诊断来监控和标记设备（如风力涡轮机、MRI 机器和铁路）中的潜在问题，该方法可以降低运营成本、提高可靠性、减少机时间，并支持可持续的行业运营。

根据研究报告的资深作者 Kalyan Veeramachaneni 称，使用深度学习模型检测基础设施问题需要花费大量时间和资源来进行训练、微调和测试。部署机器学习模型需要机器学习团队与监控设备的运营团队之间的密切合作，该团队负责训练模型。

随着真实数据的传入，团队必须持续协调，以应对任何出现的挑战。如果发生更改（例如添加新的数据信号或更新设备），他们通常需要重启整个部署流程。

Veeramachaneni 说：“与此相比，LLM 即插即用，我们不必为每个新的数据流创建独立的模型，我们可以直接在数据流上部署 LLM。”

研究人员创建了 SigLLM，这是一种将时间序列数据转换为文本以供分析的框架。然后，GPT-3.5 Turbo 和 Mistral LLM 用于检测模式不规则，并标记可能表明系统中潜在操作问题的异常情况。

该团队使用 11 个不同的数据集（492 个一元时间序列和 2,349 个异常情况）评估了 SigLLM 的性能。各种数据来自广泛的应用，包括 NASA 的卫星和 Yahoo 的流量，信号长度和异常情况各不相同。

两个 NVIDIA Titan RTX GPU 和一个 NVIDIA V100 Tensor Core GPU 可以处理运行 GPT-3.5 Turbo 和 Mistral 以实现零样本异常检测的计算需求。

图 1. SigLLM 框架中的异常检测方法发现原始信号和预测信号之间的差异，以此作为存在异常的信号。

该研究发现，LLMs 可以检测异常情况，与传统的检测方法不同，SigLLM 在模式识别中使用 LLMs 的固有能力，而无需进行大量训练。然而，专业的深度学习模型的性能比 SigLLM 高出约 30%

“我们惊讶地发现，基于 LLM 的方法的表现优于一些基于深度学习 Transformer 的方法，”Veeramachaneni 说，“不过，这些方法还不如当前的先进模型好，例如 Autoencoder with Regression（AER）。为了达到这一水平，我们还有一些工作要做。” 

这项研究可以为 AI 驱动的监控迈出重要一步，具有高效异常检测的潜力，特别是在模型进一步增强的情况下。

Veeramachaneni 表示，主要的挑战是确定该方法的可靠性，同时保持 LLMs 提供的优势。该团队还计划研究 LLMs 如何在不进行微调的情况下有效预测异常情况，这将涉及使用各种提示测试 LLMs。

研究中使用的数据集可在 GitHub 上公开获取。

在 MIT News 上阅读完整故事《阅读研究大型语言模型可以成为时间序列的零样本异常检测器？》