PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds

最新推荐文章于 2024-04-18 10:08:41 发布

magiC�

最新推荐文章于 2024-04-18 10:08:41 发布

阅读量565

点赞数

文章标签：神经网络计算机视觉

本文链接：https://blog.csdn.net/weixin_45044488/article/details/121144323

版权

PCAM是一种用于点云刚性配准的新方法，通过交叉注意力机制融合低级几何信息和高级上下文信息来找到对应点。它包括点匹配模块和点对过滤模块，利用层间注意力矩阵来构建匹配特征，并通过SVD估计刚性变换。点匹配模块通过点卷积神经网络生成注意力矩阵，全局注意力矩阵则结合了所有层的注意力信息。置信度估计模块用于过滤错误匹配。实验验证了PCAM的有效性。

摘要由CSDN通过智能技术生成

零、论文概要

标题：PCAM：点云刚性配准的交叉注意矩阵乘积
链接：paper.
作者：Anh-Quan Cao,Gilles Puy,Alexandre Boulch,Renaud Marlet
机构：Valeo.ai, Paris, France, Inria, Paris, France†, LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vall´ee, France
备注：ICCV21

一、论文摘要

部分重叠点云的刚性配准是一个长期存在的问题，通常通过两个步骤来解决:(a)寻找对应点之间的对应关系；(b)筛选对应，只保留最可靠的来估计变化。本文提出了PCAM利用cross-attention机制：允许混合低级几何信息和高级上下文信息来找点对应；允许在每一层的点云之间交换上下文信息，从而网络在重叠区域内构建更好的匹配特征。

二、论文的方法

方法概述

点云 $P$ 和点云 $Q$ 被送进Point Matching Module [g： $（\mathbb{R}^{Ｎ×3}，\mathbb{R}^{Ｍ×3}）\rightarrow（\mathbb{R}^{Ｎ×Ｍ}，\mathbb{R}^{Ｎ×Ｍ}）$ ],获取了两类映射关系 $\tilde{m_{Q}}:P\rightarrow Q$ 、 $\tilde{m_{P}}:P\rightarrow Q$ （提供了 $P$ 和 $Q$ 之间的对应点对），接下来都被送进Point-pair Filtering Module[h( $\mathbb{R}^{×6}\rightarrow{(0,1)}^{×1}$ )],该模块将提供了每个匹配点对的置信度，最后通过 $S V D$ 求解加权最小二乘来估计刚性变换。
点匹配（Point Matching）［主要创新点］

点云 $P$ 和点云 $Q$ 作为输入，在每一层 $l＝１，\cdots ，Ｌ$ 获得注意力矩阵 $A_{PQ}^{(l)}$ 、 $A_{QP}^{(l)}$ [Layer-wise Cross-attention Matrices]，而这 $L$ 个注意力矩阵将构成全局的注意矩阵 $A_{PQ}^{(*)}$ 、 $A_{QP}^{(*)}$ [Global Attention Matrices],再通过全局的注意力矩阵获得 $\tilde{m_{Q}}$ 、 $\tilde{m_{P}}$ 。
（1）. Layer-wise Cross-attention Matrices
$F_{P}$ 、 $F_{Q}$ 分别为点云 $P$ 和点云 $Q$ 的特征向量，两片点云的特征被送入点卷积神经网络* $ｅ$ *（由三个残差块组成，每个残差块又包含两个FKAＣｏｎｖ.子层），生成新的特征向量 $e(F_{P})$ 、 $e(F_{Ｑ})$ （特征维度减半）。接下来用新的特征向量 $e(F_{P})$ 、 $e(F_{Ｑ})$ 计算获得我们的注意力矩阵 $A_{PQ}^{(l)}$ 、 $A_{QP}^{(l)}$ ，公式如下：
$（A_{PQ}^{(l)}）_{ij} = \frac{ｅ^{\frac{a_{ij}}{s}}}{\sum_{k=1}^{M}ｅ^{\frac{a_{ik}}{s}}}，（A_{QP}^{(l)}）_{ij} = \frac{ｅ^{\frac{a_{ij}}{s}}}{\sum_{k=1}^{N}ｅ^{\frac{a_{ik}}{s}}}$
其中，
$a_{ij} = \frac{e(F_{P})_{i}e(F_{Q})_{j}^{T}}{\left \|e(F_{P})_{i} \right \|_{2}\left \|e(F_{Q})_{j} \right \|_{2}}，$
在每一层，我们拼接每个输入点的新特征以及在连接另一个点云中的最佳对应点特征，具体公式如下所示：
$E_{P}＝[e(F_{P})，A_{PQ}^{(l)}e(F_{Ｑ})]\epsilon \mathbb{R}^{N×c^{(l)}}$ ， $E_{Ｑ}＝[e(F_{Ｑ})，A_{QP}^{(l)T}e(F_{P})]\epsilon \mathbb{R}^{Ｍ×c^{(l)}}$
其中 $E_{P}$ ， $E_{Ｑ}$ 为 $l$ 层的输出、 $l + 1$ 层的输入。
最后我们将会提取出L个注意矩阵 $(A_{PQ}^{(1)}，\cdots，A_{PQ}^{(Ｌ)})$ 和 $(A_{QP}^{(1)}，\cdots，A_{QP}^{(Ｌ)})$
（2）. Global Attention Matrices
本文通过简单的点态乘法将每一层的注意力矩阵组合起来，如下所示：
$A_{PQ}^{(*)}＝A_{PQ}^{(1)}\bigodot \cdots\bigodot A_{PQ}^{(Ｌ)}$
这样做的目的有：（1）每层注意力矩阵的特征伴随着层数的增加使用的视野或比例是不断提升的，只有在所有尺度上的特征都相似时，才能获得我们需要的匹配点，(2)允许反向传播从损失到每一层。
（3）. Soft and Sparse Maps
两种匹配点的标准方法软映射和稀疏映射。
软映射：
$\tilde{m_{Q}}(p_{i})＝ \frac{\sum_{j=1}^{M}(A_{PQ}^{(*)})_{i,j}q_{j}}{\sum_{k=1}^{M}(A_{PQ}^{(*)})_{i,k}}$
稀疏映射：
$\tilde{m_{Q}}(p_{i})＝ q_{j}，where {j}^{(*)}＝\underset{j}{argmax(A_{PQ}^{(*)})_{i,j}}$
置信估计（Confidence Estimation）
虽然作者通过前面的模块找到了点云 $P$ 和点云 $Q$ 间的映射关系，但是仍在存在错误的匹配，因此我们需要过滤这些误匹配。
作者通过连接向量构成 $[p_{i}^{T}，\tilde{m_{Q}}(p_{i})^{T}]^{T}\epsilon \mathbb{R}^{6}$ ，然后将其送入置信估计模块[h( $\mathbb{R}^{×6}\rightarrow{(0,1)}^{×1}$ )]，从而得到置信分数 $\omega_{i}$
损失函数
(1). Attention Loss
(2). Confidence Loss