GPT4V-for-Generic-Anomaly-Detection

whaosoft143

已于 2023-11-11 16:03:05 修改

阅读量181

点赞数 1

分类专栏：人工智能文章标签：人工智能

于 2023-11-11 15:49:56 首次发布

本文链接：https://blog.csdn.net/qq_29788741/article/details/134349464

版权

异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入理解 “什么是异常”。这是通用异常检测新曙光,华科大等揭秘GPT-4V的全方位异常检测表现

要实现更准确且智能的异常检测，我们需要关注以下关键步骤：

1. 理解多样数据类型和类别

不同领域的数据集包含各种数据类型和类别，如图像、视频、点云、时间序列等。每种数据类型可能需要不同的异常检测方法，每个物体类别可能对应不同的正常标准，因此深入理解数据的多样性至关重要。

2. 确定正常状态标准

一旦理解了数据的类型和类别，我们需要推断正常状态的标准。这需要高级数据语义信息的理解，以确保我们能够正确识别正常数据的特征和模式。

3. 评估数据的符合度

最后，我们需要评估提供的数据是否符合已建立的正常数据分布。任何偏离这些数据分布的情况都可以被归类为异常。

最近，大型多模态模型（LMM）迅猛发展，其中 OpenAI 最近推出的 GPT-4V (ision) 表现最为出色，具有强大的多模态感知能力，在场景理解，图片生成等多个任务中都取得了良好表现。我们认为，LMM 的出现为通用异常检测的研究提供了新的范式和新的机会。

为了评估 GPT-4V 在通用异常检测中的性能，来自华中科技大学、密歇根大学和多伦多大学的研究者联合进行了一项研究，在涉及 4 个数据模态，9 个异常检测任务的 15 个异常检测数据集上对 GPT-4V 进行了全面的测试。具体而言，测试的数据集包括图像、点云、视频、时序等模态，并涵盖了工业图像异常检测 / 定位，医疗图像异常检测 / 定位，点云异常检测，逻辑异常检测，行人异常检测，交通异常检测，时序异常检测等 9 个异常检测任务。