PointWeb:一种增强点云处理中局部邻域特征提取的方法

PointWeb:一种增强点云处理中局部邻域特征提取的方法

相关网站

pointweb：Enhancing Local Neighborhood Features for Point Cloud Processing 这是2019年发布在cvpr上的文章

论文地址 ：http://openaccess.thecvf.com/content_CVPR_2019/papers/Zhao_PointWeb_Enhancing_Local_Neighborhood_Features_for_Point_Cloud_Processing_CVPR_2019_paper.pdf

作者 Hengshuang Zhao 主页 https://hszhao.github.io/#patent

摘要

文章提出了可以用于从点云的局部邻域中提取上下文特征得新方法pointweb.与以往的工作不同，我们更加考虑局部点之间的联系，能够根据局部区域的特征来扩展每个点的特征，从而能更好地表示区域的特征。

同时提出了一种新的自适应特征调整(AFA)模块，用于寻找点与点之间的交互作用。对于每个局部区域，构建一个影响矩阵，将影响矩阵映射用于后面特征差别的映射（For each
local region, an impact map carrying element-wise impact
between point pairs is applied to the feature difference map.）
根据自适应学习的影响指标，每个特征被同一区域的其他特征拉或推。调整后的特征与区域信息进行了很好的编码，有利于点云的分割和分类等识别任务。实验结果表明，该模型在语义分割和形状分类数据集上都取得了较好的效果。

方法

探讨局部区域内点与点之间的关系是本文的重点。

整体实现如图

在使用神经网络提取点云特征(或简称点特征)后，进一步提取点云的局部特征有助于提高语义分割和分类任务中的点云识别精度。

对于三维点云数据，PointNet++利用最远点采样选择点作为 centroids（质心），然后应用kNN算法选择centroids（质心）周围的相邻点，以此定义为点云的局部patch。对于M个点的局部patch(或局部邻域)R，我们用F表示R中的点特征集，使F = {F1, F2，…， FM}，其中Fi∈RC。C为每个点特征的通道数。

再pointnet，通过利用patch我们在R区域中获得一个具有代表性的特征Fout∈Rout，其中Cout为输出特征中的通道数。PointNet++使用MLP和max pooling获得具有代表性的特征。

（即，pointnet通过这样的临近patch提取特征，这样可以将多个点云提取为C个通道的特征）

​ 然而，该过程不考虑区域内相邻点之间的区域特征。（问题）

​ 在这篇论文中，我们将R中的点密集连接成一个局部点网络，并制定一个自适应特征调整(AFA)模块来学习每个点对其他点的影响，以调整其特征。该方法将邻域上下文引入点特征中，增强了特征对局部邻域的描述能力。图2给出了AFA模块的概述。
我们将整个网络称为PointWeb，因为我们的方法通过密集连接的点的网络有效地提取局部邻域上下文。

Adaptive Feature Adjustment (AFA) Module 自适应特征调整AFA模块

给定区域R及其特征集F = {F1, F2，…， FM}，我们首先制定自适应特征调整(AFA)模块，通过学习局部邻域的上下文信息来增强F中的点特征

其中F ‘i是改进版的Fi， ΔFi是通过特征调制器(记为fmod)从特征集F学习到的。
第二部是设置特征集 的modulator（调制器），以便在特征集F中有效地交换和进一步聚合信息。直观地说，局部区域的不同特征对每个Fi的增强产生不同的影响。我们的特征调制器通过自适应地学习F中每个特征对每个Fi的影响量来解决这个问题。表示为

其中fimp是一个函数，用于计算Fj对Fi的影响量，而frel表示Fj与Fi的关系。其中的重点是我们modulator调制器中自影响函数FI

3.1.1 Impact Function Fimp impact函数Fimp

使用MLP来计算 imp函数 记为Fimp

其中g为结合特征Fi和Fj的函数，wij为Fj对Fi的影响指标。

建立g模型的一种简单方法是将这两个特征向量接起来合成一个更长的向量。这个解决方案有一个明显的局限性，g完全包含Fi和Fj，即使Fj变化，也有一半的特征通道保持不变。这使得在计算fimp时Fi部分没有变化。另一个选择是将特征和(Fi + Fj)作为g。但是这个策略也是有问题的，这样会使得Fj对Fi的影响和Fi对Fj的影响是一样的。这种对称结构产生一种不理想的特性，稍后将在实验中加以证明

基于这些考虑，我们因此建立了g(Fi, Fj) = Fi−Fj的模型，将两个特征向量之间的影响计算为两个特征向量的差值。

注意这里i = j是一个特殊情况，我们将g(Fi, Fi)设为Fi。因此，通过其自身特征Fi来估计Fi对自身的影响。

3.1.2 Relation Function frel 关系函数Frel

另一方面，考虑设计 relation function关系函数frel用于确定影响指标wij如何作用于Fi。一种简单的方法是直接将wij与Fj相乘

则式(2)中的fmod函数变为：

使用这种朴素关系函数的点云识别任务的结果质量与baseline相比已经有所提高，通过多次实验可以发现使用不同的矢量形式得到进一步提升。
在数学上，我们将关系函数建模为

后面第4节的消融研究，使用不同形式的关系函数来比较性能。
此时，对于局部区域R中的每个feature Fi, feature adjustment的总体输出为

这个公式就像在局部区域R中的一个力场(如图)， R中的其他每个特征都对Fi施加一个力(在特征空间中)，试图将Fi推向或推离自己。力的强度和方向由系数α(ji)决定，根据两个特征向量的差值自适应学习系数α(ji)。因此，输出的F‘i包含了整个区域的上下文信息，可以更好的描述区域的特征。

​ 图2AFA模块结构

3.13 Element-wise Impact Map 特征影响矩阵

除Fimp和frel这两个函数外，还发现影响因子Wij = fimp(Fi, Fj) (j = 1， …)， M)从每个点云考虑对特征差异图进行操作。每个因子的长度等于特性中的通道数。考虑到两个点特征之间的相互作用在整个过程中可能存在差异，因此以每个点来影响因子，而是为局部区域中的每个特征来计算，这样可以很好地展示整个区域和所有通道的逐点影响图。Fi的影响图表示为

其中通道数记为C，影响图大小为C × m，特征调制器用矩阵形式表示为

式中⊙为逐元素乘法，e为全一向量，F(diff )为大小为C × m的特征差映射。

3.2 PointWeb with Local Feature Modulation pointWED的局部点调制器

我们的框架是建立在PointNet++体系结构之上的，结构是由几个集合组成的层次网络。在每个模块的每个局部区域内，结合全局和局部特征进行点集识别。在PointNet++中，聚合每个局部区域信息的唯一操作是max pooling，而我们的PointWeb框架在每个局部区域的点特征之间构建一个全链接的点网络，然后通过学习确定它们之间的相互影响来整合区域信息。
PointWeb语义分词总体框架如下图所示。主要利用自适应特征调整(AFA)模块提升性能，即图中突出显示的框。
每个分组层后面都有一个AFA模块，在3.1节中介绍。局部的AFA模块示意图如前面的图所示
具体来说，在同一个局部区域中，每两个feature被链接形成一个web(图2 (b))。然后，考虑特征之间的相互作用，对特征进行更新(图2 ©)。该框架根据区域特征将相同的特征分组到指定的不同局部区域中。

AFA模块可以看作是一个feature转换模块，在不改变feature数量和大小的情况下，在每个局部区域的空间和通道中交换和聚合上下文信息。然后将调整后的特征用于MLP和max pooling，进一步实现不同通道的信息集成。