Look Inside for More: Internal Spatial Modality Perception for 3D Anomaly Detection 论文精读-CSDN博客

题目：Look Inside for More: Internal Spatial Modality Perception for 3D Anomaly Detection

论文地址：AAAI 2025 2412

题目：向内探寻更多：面向三维异常检测的内部空间模态感知

Look Inside for More 向内探寻更多
Internal 内部
Spatial 空间
Modality 模态
Perception 感知
for 3D Anomaly Detection 面向三维异常检测的内部空间模态感知

Abstract 摘要

三维异常检测近年来已成为计算机视觉领域的一个重要研究焦点。一些先进方法在异常检测性能上取得了令人满意的成果。然而，它们通常聚焦于三维样本的外部结构，难以充分利用样本内部蕴含的信息。受 “为何不深入探究样本内部” 这一基本直觉的启发，我们提出一种简洁的方法，名为内部空间模态感知（ISMP），以从内部视角充分探索特征表示。
具体而言，我们提出的ISMP包含一个关键的感知模块 —— Proposal Insight Engine（SIE），它可将点云的复杂内部信息抽象为关键全局特征。
此外，为了更好地使结构信息与点云数据对齐，我们提出一种增强的关键点特征提取模块，用于放大空间特征表示。
同时，融入一种新颖的特征过滤模块，以减少噪声和冗余特征，从而进一步对齐精确的空间结构。
大量实验验证了我们所提方法的有效性，在Real3D - AD基准测试中，目标级和像素级AUROC（接收者操作特征曲线下面积）分别提升了4.2%和13.1%。经理论证明，SIE具备强大的泛化能力，并在分类和分割任务中均得到验证。

1. Introduction 引言

三维异常检测（AD）通过识别复杂结构中的异常，在工业和医疗应用中发挥着关键作用。

1.1 现有方法

1.1.1 直观的特征提取

传统方法，如BTF（Horwitz 和 Hoshen，2022），主要聚焦于单样本分析，而近期基于深度学习的方法通过合并跨样本信息改进了检测效果。然而，这些方法往往依赖直观的特征提取，可能会忽略更深层次的异常。研究人员正在探索不同策略以揭示更细微的细节，一些策略强调仅使用三维数据，另一些则整合多模态方法。

1.1.2 结构的独特特征表示

1.1.2.1 纯三维

以三维结构为核心的方法着重于结构的独特特征表示。
例如，（Bergmann 和 Sattlegger，2022）使用几何描述符和师生模型取得了有前景的结果，而（Rudolph等人，2022）引入非对称（师生）网络以进一步增强辨别力。
此外，（Li等人，2023）聚焦于改进局部特征表示，（Kruse 等人，2024）提出利用姿势信息以在不同视角下实现更优的异常检测。

Kruse这是哪一篇啊

尽管有这些进展，许多方法仍从直观结构入手，可能导致信息覆盖不完整。

1.1.2.2 多模态

另一方面，多模态方法通过整合不同数据模态提供更丰富的特征表示。
例如，结合 RGB 二维和三维数据（Wang 等人，2023），或对两种数据进行独立评估（Chu 等人，2023），增强了检测能力。
（Zavrtanik、Kristan 和 Škočaj，2023）利用深度和 RGB 信息更好地识别异常，（Bhunia、Li 和 Bilen，2024）通过构建查询图像数据库推进了二维 - 三维检测。
然而，特征对齐损失和传感器数据需求增加等挑战依然存在。为解决这些问题，（Cao、Xu 和 Shen，2023）引入一种伪模态方法，将三维数据投影到二维图像以获取补充信息。虽然该方法提供了更全面的表示，但仍忽略了内部结构细节，导致特征覆盖不完整并降低检测性能。

1.2 文章视角

1.2.1 现有问题

伪模态中内部信息利用不足&不同模态数据对齐困难
我们能否将关注点转向内部信息，以实现更全面的异常检测？为了解决伪模态异常检测中内部信息利用不足和不同模态数据对齐困难的问题，提出了一种基于内部空间伪模态的异常检测方法。

1.2.2 利用点云的内部空间特征

促进内部结构和表面区域之间更好的交互
图1展示了我们方法的内部感知与从外部获取全局特征的其他方法之间的对比。我们的方法通过利用点云的内部空间特征，有效捕捉三维结构的内部特征，即便在少样本环境中也是如此。它促进内部结构与表面区域之间更好的交互，在内部和外部信息之间建立互补关系。
在这里插入图片描述

1.2.3 内部空间模态感知框架ISMP

捕捉全局特征的SIE+提取局部细节的增强特征提取+抑制冗余数据的特征过滤
我们方法的核心——内部空间模态感知（ISMP）框架，包含一个捕捉全局特征的空间洞察引擎（SIE）、一个用于提取局部细节的增强特征提取模块，以及一个用于抑制冗余数据的特征过滤模块。这些组件共同作用，显著提升异常检测的准确性。
需要注意的是，我们的SIE展现出强大的泛化能力，使其适用于更广泛的点云任务。

1.3 文章的贡献

本文的主要贡献总结如下：

据我们所知，我们是第一个专注于点云内部结构，从而提高内部结构特征的提取
设计了一个新的内部空间模态感知（ISMP）模块和一个与特征过滤模块相结合的增强特征提取模块，以提高关键点局部特征的感知和对齐。
探索了空间洞察引擎（SIE）在分类和分割任务中的可行性，强调内部空间伪模态的强大泛化能力。
大量实验证明了ISMP的优越性，在Real3D-AD数据集上超越了当前最优方法，在P-AUROC和O-AUROC指标上分别提升了13.1%和4.1% 。

1.4 2D异常检测

2D图像异常检测是一个研究广泛的领域，通常涉及两个主要部分：特征提取和特征建模。特征提取旨在提取能够区分正常数据和异常数据的判别性特征。相比之下，特征建模捕捉正常特征的分布，并在存在异常时检测偏差。
早期方法聚焦于从头学习特征，比如通过自动编码器和图像修复任务，其中有RIAD和DRAEM等著名方法在该领域取得了重大进展（Bergmann等人，2019；Park等人，2023；Zavrtanik、Kristan和Skocaj，2021）。
然而，近期的进展表明，使用预训练网络进行异常检测是有效的。像知识蒸馏这样的技术，在ST和AST中得到应用，调整教师网络和学生网络之间的特征以检测异常，解决过度泛化等问题（Yamada和Hotta，2022；Rudolph等人，2022）。
进一步的创新包括对归一化流和记忆库技术进行改进，以更有效地建模正常特征分布（Gudovskiy、Ishizaka和Kozuka，2021）。
这些发展改进了2D异常检测，并为将这些方法扩展到3D和多模态检测奠定了基础，推动该领域进一步发展。

1.5 3D异常检测

1.5.1 点云异常检测

3D异常检测，如点云异常检测，在自动驾驶导航和工业检测等领域至关重要（Solaas、Tuptuk和Mariconti，2024；Cui等人，2022）。基于深度学习的异常检测利用神经网络捕捉复杂的点云结构。
PatchCore及其后续等技术取得了重大进展，通过直接从原始数据中学习点云表示取得了重大进展（Tu等人，2024；Roth等人，2022）。这些方法强调高效的特征提取和融合，这对有效的异常检测至关重要。
先进的方法如PointNet++ 和PointTransformer通过纳入分层和注意力机制改进特征提取（Wu等人，2024；Zhao等人，2021；Qi等人，2017b）。
此外，PointMAE和PointMLP等技术进一步增强局部特征提取和融合（Pang等人，2022；Ma等人，2022）。
数学策略，包括耦合拉普拉斯特征映射和局部敏感方法，也有助于更细致的点云表示，提升3D异常检测（Bastico等人，2024；Chen等人，2023；Bergmann和Sattlegger，2022）。
最后，以FPFH等方法为例的点云坐标，为异常检测提供了基本特征信息（Rusu、Blodow和Beetz，2009）。

1.5.2 伪模态

与此同时，伪模态技术通过单一模态模拟模态数据或构造特征，旨在通过结合不同类型的信息来增强特征表示。近期的进展解决了其中一些不足。
例如，（Cao、Xu和Shen，2023）中讨论的方法聚焦于利用来自多个视角的伪模态特征。
在此基础上，（Bhunia、Li和Bilen，2024）进一步改进了这一点，通过使用广泛的2D图像数据库作为参考，将2D特征对齐并转置到3D点云上，以捕捉纹理信息。
然而，尽管有这些进展，这些方法通常需要在充分利用点云复杂的内部结构方面继续努力。它们主要关注外部信息，同时忽略了关键的内部复杂性。因此，这种疏忽限制了它们在充分捕捉全面异常检测所需的细微内部特征方面的有效性。

2. Method

2.1 Spatial Insight Engine 空间洞察引擎

图2概述了我们的方法。我们开发了一个稳健的模型（SIE），利用先进的四个投影切片（ $P_1$ 、 $P_2$ 、 $P_3$ 、 $P_4$ ），可将三维点云结构无缝转换为二维伪模态数据，如图2所示。
这些精心设计的切片对点云的顶部、中部和底部进行全面的自上而下和自下而上分析。值得注意的是，中间切片（ $P_2$ 、 $P_3$ ）能巧妙地将点云分成两部分，与其他切片协同工作，从两个部分中提取全面特征。投影切片的可视化如图3所示。
在这里插入图片描述

以点云的上半部分为例，我们将说明为何从SIE中提取的特征能够捕获更多信息并有效检测异常。
在这里插入图片描述

2.1.1 Information Capturing Analysis 信息捕捉分析

2.1.1.1 信息量定义

信息的数量可定义为：
$\mathbf{P} = \{ \mathbf{p}_i = (x_i, y_i, z_i) \mid i \in \{1, 2, \ldots, N\} \} \tag{1}$
其中， $\mathbf{P}$ 是点的集合， $\mathbf{p}_i$ 表示具有坐标 $x_i, y_i, z_i)$ 的单个点， $N$ 是点的总数。中点 $z_{\text{mid}}$ 定义为：
$z_{\text{mid}} = \frac{z_{\text{min}} + z_{\text{max}}}{2} \tag{2}$
其中， $z_{\text{mid}}$ 沿 $z$ 轴方向， $z_{\text{min}}$ 和 $z_{\text{max}}$ 分别是 $z$ 坐标的最小值和最大值。

2.1.1.2 顶部信息

$I_{\text{top}} = \sum_{i = 1}^{N} (z_{\text{max}} - z_i) \tag{3}$
其中， $I_{\text{top}}$ 是顶部信息， $z_i$ 是点 $i$ 的 $z$ 坐标。

2.1.1.3 顶部的全局信息

基于我们的空间洞察引擎（SIE）计算，我们得到全局信息：
$I_{\text{global}} = \sum_{i = 1}^{N} \left[ (z_{\text{max}} - z_i) + \max(0, z_i - z_{\text{mid}}) \right] \tag{4}$
重写后，我们得到：
$I_{\text{global}} = I_{\text{top}} + \sum_{i: z_i \geq z_{\text{mid}}} (z_i - z_{\text{mid}} \geq I_{\text{top}}) \tag{5}$
因此，我们观察到 $I_{\text{global}}$ 比 $I_{\text{top}}$ 包含更多信息， $I_{\text{top}}$ 是标准的外部投影方式。

2.1.1.4 点云的下半部分同上

对于点云的下半部分也是如此。通过这种方式，由点云获得的最终目标信息将比仅使用外部模态时更可靠。

2.1.2 Anomaly Detection 异常检测

深度信息包含重要的异常信息（Liu 等人，2024）。当两个视角的深度值差异显著偏离正常点的预期范围时，即可检测到异常。也就是说：
$|\Delta D(\mathbf{p}_i) - \mu_{\Delta D}| > k\sigma_{\Delta D} \tag{6}$
其中， $\Delta D(\mathbf{p}_i)$ 是自上而下与自中而上深度值的差异。此外， $\mu_{\Delta D}$ 和 $\sigma_{\Delta D}$ 分别是平均点的 $\Delta D$ 均值和标准差， $k$ 为阈值常数。
在这些约束条件下，空间洞察引擎（SIE）通过从内部视角进行观测来增强全局信息，与仅依赖外部空间捕捉相比，显著改进了异常检测效果。

2.2 Enhanced Feature Extraction 增强特征提取

遵循相关工作中的方法，我们使用最远点采样（FPS）来获取一组中心点，将每个中心点周围的k近邻视为一个面片（patch）进行处理（Qi等人，2017b）。
按照PointMAE方法，我们推导出面片特征（Pang等人，2022）。
然后，我们根据FPFH在中心点上执行特征提取，以获得更全面的特征（Rusu、Blodow和Beetz，2009）。
具体如下：
$\text{FPS}(X) = \{x_i\}_{i=1}^m \tag{7}$
其中， $X$ 表示原始点云， ${x_i\}$ 是采样得到的中心点。对于每个中心点 $x_i$ ，我们将其面片 $P_i$ 定义为：
$P_i = \left\{ x \in X \mid \left\| x - x_i \right\| \leq r \right\} \tag{8}$
其中， $r$ 是定义 $x_i$ 邻域的半径。我们使用PointMAE为每个面片（ $P_i$ ）提取特征。然后，我们使用快速点特征直方图（FPFH）进一步增强每个中心点的特征表示。

2.3 Feature Filtering Module 特征过滤模块

从点云中提取的信息往往过于繁杂，我们通常需要对从点云直接提取的信息进行降噪和其他处理（Cao 等人，2023）。拉普拉斯变换（Kipf 和 Welling，2017）在特征过滤中被广泛应用，通过去除噪声和冗余信息来提升特征质量。这有助于实现更优的特征表示和对齐，在点云等高维数据中尤为关键（Shao 等人，2017；Ghojogh 等人，2022）。通过应用拉普拉斯变换，模型能够实现更平滑且更准确的特征提取，这对于需要精确几何表示的任务而言至关重要。
拉普拉斯矩阵 $L$ 定义为：
$\tag{9}$
其中， $D$ 是图的度矩阵， $A$ 是邻接矩阵。这种变换能够通过平滑不规则性并聚焦于内在几何结构，提升整体特征质量（Zeng 等人，2019）。
为了更好地对齐来自空间洞察引擎（SIE）的特征并进行增强，我们开发了一个可控的特征过滤模块，利用拉普拉斯变换来增强点云中的几何特征。该方法以伪代码形式概述，依赖于特定参数。流程可通过以下公式概括：
$\text{Fill}(X|\alpha, \beta, \gamma) = X_{\text{enhanced}} \tag{10}$
其中， $\alpha$ 、 $\beta$ 和 $\gamma$ 是控制增强拉普拉斯算子的影响、权重矩阵的衰减率以及异常度量贡献的参数，分别对应不同作用。 $X$ 是原始特征矩阵， $X_{\text{enhanced}}$ 是经增强后的结果特征矩阵。该模块的整体实现如算法 1 所示。
在这里插入图片描述

2.4 Anomaly Score Calculation 异常分数计算

我们利用特征记忆库 $\mathcal{M}^C$ 和坐标记忆库 $\mathcal{M}^F$ 来计算异常分数。这里，我们以 $\mathcal{M}^F$ 记忆库为例说明评分过程。我们为测试对象的点级特征 $\mathcal{P}(m^{\text{test}})$ 在 $\mathcal{M}^F$ 中寻找最近邻。最近邻搜索方法（Liu 等人，2023）表示为：
$\begin{align*} m^{\text{test}, *} &= \arg\max_{m^{\text{test}} \in \mathcal{P}(x^{\text{test}})} \min_{m' \in \mathcal{M}^F} \| m^{\text{test}} - m' \|_2, \\ m_*^F &= \arg\min_{m' \in \mathcal{M}^F} \| m^{\text{test}} - m' \|_2. \end{align*} \tag{11}$
计算最近邻距离作为局部特征异常分数 $s_*^F$ ：
$s_*^F = \| m^{\text{test}, *} - m_*^F \|_2. \tag{12}$
使用重加权方法（Liu 和 Tao，2016）调整异常分数，表示为：
$s^F = \left( 1 - \frac{\exp \| m^{\text{test}, *} - m_*^F \|_2}{\sum_{m \in N_3(m^*)} \exp \| m^{\text{test}, *} - m \|_2} \right) s_*^F. \tag{13}$
其中， $N_3(m^*)$ 表示 $\mathcal{M}^F$ 中与 $m^*$ 最邻近的 3 个特征。使用 $\mathcal{M}^C$ 执行类似计算以获得坐标异常分数 $s^C$ 。
$\frac{s^F + s^C}{2}. \tag{14}$
通过公式 (14) 对 $s^F$ 和 $s^C$ 取平均，计算每个点云 $s$ 的整体异常分数。

3. Experiments 实验

在本节中，我们首先评估了ISMP在异常检测任务中的有效性，其次通过SIE在多个任务中的泛化能力对评估进行了补充。

3.1 Implementation 实现

3.1.1 Datasets 数据集

我们在两个主流数据集（Real3D - AD 和 Anomaly - ShapeNet）上进行了对比实验。

（1）Real3D - AD 数据集（Liu 等人，2023）是一个高分辨率、大规模的异常数据集，涵盖 12 个类别，共 1254
个样本。每个类别的训练集包含 4 个正常样本，而每个类别的测试集既包含正常样本，也包含带有各种缺陷的异常样本。
（2）AnomalyShapeNet 数据集（Li 等人，2023）提供 40 个类别，包含超 1600
个正样本和负样本。每个类别的训练集包含 4 个正常样本，每个类别的测试集则同时包含正常样本和带有各类缺陷的异常样本。

3.1.2 Baselines 基准方法

我们选取 BTF（Horwitz 和 Hoshen，2022）、M3DM（Wang 等人，2023）、PatchCore（Roth 等人，2022）、CPMF（Cao、Xu 和 Shen，2023）、RegAD（Liu 等人，2023）以及 IMRNet（Li 等人，2023）作为对比方法。
需要说明的是，BTF(FPFH) 表示我们纳入了快速点特征直方图（Rusu、Blodow 和 Beetz，2009）。这些方法的结果均通过公开可用代码或参考论文获取。

3.1.3 Evaluation Metrics 评估指标

对于异常检测任务，我们使用 P - AUROC（↑）评估像素级异常定位能力，使用 O - AUROC（↑）评估目标级异常检测能力。这两个指标的值越高，表明异常检测能力越强。

3.1.4 Experimental Details 实验细节

实验在配备 RTX 3090（24GB）GPU 的机器上进行。对于 ISMP，我们使用预训练的 PointMAE 和 EfficientNet（Tan 和 Le，2020）模型开展实验。我们为 ISMP 设置的参数遵循 RegAD（Liu 等人，2023），其中 $\alpha$ 设为 0.2， $\beta$ 设为 0.2， $\gamma$ 设为 0.001 。

3.2 Main Results 主要结果

3.2.1 Comparisons on Real3D-AD 在 Real3D - AD 上的对比

表 1 呈现了 ISMP 与其他竞争模型的定量对比结果。我们发现，在高精度异常定位任务中，其他模型存在偏差，使得准确的定位颇具挑战。我们的方法取得了 0.767 的 O - AUROC 分数和 0.836 的 P - AUROC 分数，显著优于当前最优（SOTA）方法。

3.2.2 Comparisons on Anomaly-ShapeNet 在 Anomaly - ShapeNet 上的对比

在表 2 中，我们对 Anomaly - ShapeNet 数据集上的像素级异常检测结果进行了定量分析。由于训练集的多样性，Anomaly - ShapeNet 给特征的更好利用带来了挑战。我们的方法取得了 0.691 的 P - AUROC 分数，优于先前的方法。
在这里插入图片描述

3.3 Ablation Study 消融研究

3.3.1 Evaluation of the ISMP Efficiency ISMP效率评估

我们在Real3D - AD数据集上评估了每个模块的有效性，结果汇总于表3。
仅使用坐标和PointMAE特征时性能最差，凸显了改进局部坐标表示的必要性。
在采样点周围融入FPFH使P - AUROC提升了18.9%。
通过特征过滤模块进一步优化又额外提升了1.8%。不使用全局特征时，O - AUROC为65.6%。
但引入内部空间模态特征后使其提升了11.1%。
值得注意的是，仅使用两个外部投影切片、省略内部切片时，取得了第二好的结果，表明内部特征更可靠。这些发现证实了我们模型的最优组成。
在这里插入图片描述

3.3.2 Evaluation of the ISMP Effectivness ISMP效果评估

我们的模型取得了出色的性能，但在推理效率方面面临挑战，这与纳入额外模态信息相关，如表4所示。与竞争对手相比，ISMP在训练和推理速度上存在不足。
在这里插入图片描述

3.3.3 Analysis of the Feature Filtering Module 特征过滤模块分析

特征矩阵的均值和方差在异常检测中起着关键作用，因为更集中的特征分布有助于检测异常（Wang等人，2023）。
为进一步探究特征过滤模块在不同参数设置下对特征矩阵的影响，我们在图4中呈现了各种参数对特征矩阵的作用。特征矩阵的方差在区分异常和正常特征方面比均值影响更大。具体而言，控制特征矩阵中的方差对于更好地进行特征区分至关重要。值得注意的是，经过归一化后，来自PointMAE的特征近似于标准正态分布。
我们随机选取了一千个符合该分布的特征矩阵进行特征过滤，并分析了它们对均值和方差的影响。在实践中，我们保守地选择了图中标记的参数。我们提出的特征过滤模块最终能够对特征的概率进行控制，从而改善特征表示。

3.4 Evaluation of SIE Generalization SIE泛化性评估

为验证SIE在3D异常检测中特征感知的有效性，我们设计了两个相关任务，即分类和分割任务。从结果中，我们可以观察到SIE能够提供更充分的信息。

3.4.1 Datasets 数据集

（1）ModelNet40是一个包含40个类别的点云分类数据集（Wu等人，2015）。我们用它来测试SIE在分类任务上的效果，以证明其泛化性。
（2）ShapeNet -Part是一个常用于语义分割的点云数据集。它包含10类标准家居物品，每类对应多个3D模型（Chang等人，2015）。我们用它来测试SIE对语义分割任务的影响，以证明其泛化性。

3.4.2 Evaluation Metrics 评估指标

对于点云分类任务，我们使用准确率（Accuracy，↑）来评估模型的能力。
对于分割任务，我们使用实例平均交并比（Instance average Intersection over Union，IoU，↑）来评估模型的适配性。

3.4.3 Baselines 基准方法

为了证明其在从点云中提取全局信息方面的显著作用，我们分析了SIE在ModelNet40点云分类任务中的效果，并将其与Subvolume（Qi等人，2016）、MVCNN（Su等人，2015）、PointNet（Qi等人，2017a）和PointNet++（Qi等人，2017b）进行比较。
此外，我们在ShapeNet - Part语义分割任务中测试了SIE的作用，并将其与Yi（Yi等人，2016）、PointNet、SSCNN（Yi等人，2017）和PointNet++进行比较。这些方法的结果均通过公开可用代码或参考论文获得。我们使用了与（Qi等人，2017b）中相同的PointNet++设置。

3.4.4 Comparison Results on ModelNet40 ModelNet40上的对比结果

我们将内部空间伪模态作为PointNet++进行点云分类的关键补充输入。如表5所示，简单的特征注入就足以提升点云分类的性能，因为内部空间伪模态为点云提供了显著的额外信息。这证明了SIE在点云分类任务中具有潜力。
在这里插入图片描述

3.4.5 Comparison Results on ShapeNet-Part ShapeNet - Part上的对比结果

将来自SIE的全局信息作为对PointNet++提取特征的补充用于零件分割，我们观察到性能有所提升，如表6所示。结果表明，SIE在对齐局部和全局信息方面具有潜力。
总体而言，ISMP在3D异常检测方面表现出色，而SIE展现出强大的泛化性和鲁棒性，使其能够适配其他任务。
在这里插入图片描述

4.Conclusion 结论

我们提出了一种配备内部空间模态感知（ISMP）的新颖3D异常检测（AD）方法，以解决样本中内部信息未得到充分利用的问题。我们的方法由三个模块组成，即基于空间洞察引擎（SIE）的新颖感知模块、增强特征提取模块以及特征过滤模块。实验结果证明了所提方法的有效性。
此外，我们验证了ISMP 在异常检测任务中的有效性以及SIE的泛化能力。
局限性：鉴于测试成本的限制，我们计划在未来工作中提升模型的推理速度。