多模态工业异常检测算法整理

        本文统计了MVTec 3D-AD上的多个多模态异常检测算法，仅对比其I-AUROC指标。数据的来源为多模态工业异常检测Benchmark | Ziuch の Blog，这位博主经常分享很多工业异常检测的优秀博文，质量很高。

        MVTec 3D-AD相关的异常检测算法包含3大类：仅使用RGB、仅使用PCD和多模态。各个类别利用不同的模态，也取得了不同的分数，本文从以下几个方面进行分析：

        1. 取得单项最佳分数的次数：

        基于RGB的算法仅取得了2项单项最佳分数；基于PCD的算法取得了4项最佳，基于多模态的算法取得了7项最佳。

        2. 该类别的平均得分：

        基于RGB的算法平均分数为0.8415，基于PCD的平均分数为0.8304，基于多模态的平均分数为0.9323。基于多模态的算法平均分数最高。

        3. 一些模型有多种模态形式，对比同一模型不同模态性能：

        以上模型均在多模态形式下取得了平均最佳成绩，且显著优于RGB或PCD模态。主要原因是在这些任务中，有一些异常在RGB空间比较明显而在PCD上不明显，另外一些任务反之。多模态的模型能够同时利用两种模态的信息，使其整体得分显著提升。

        4. 模态类别

        实际应用过程中，获取PCD数据的成本是要远高于RGB的，在某些场景中我们可能仅采集一部分产品的pcd数据，但能够对所有产品采集rgb数据。这时，上述模型中的CPMF和CFM尽管取得了最佳分数，但其只能应用于多模态场景中。与之相对，M3DM,EasyNet,AST,Shape-Guided能够用于单模态数据，这也是这些算法的一种优势。