小麋鹿跑了的博客

摘要我们在网络设计中采用形状上下文的概念作为构建块，开发了一种新的表示方法。由此产生的模型称为ShapeContextNet，它由一个层次结构组成，其中的模块不依赖于固定的网格，同时仍具有类似于卷积神经网络的特性——能够捕获和传播对象部分信息。此外，从基于自我注意的模型中得到启发，将自注意力应用到点云。Shape Context Net是一种端到端模型，可应用于一般的点云分类和分割问题。图1：三维中的形状上下文内核来捕捉空间信息引言我们的论文将重点放在开发一种用于点云分类的深度学

目录ABSTRACT方法FRAMEWORK OF POINTMLPGEOMETRIC AFFINE MODULEABSTRACT在本文中，作者提出了一个新的视角来看待这个任务。注意到，详细的局部几何信息可能不是点云分析的关键——引入了一个纯粹的残差MLP network，称为PointMLP，它没有集成“复杂的”局部几何提取器，但性能仍然非常有竞争力。方法作者提出通过一个简单的前馈残差MLP网络(PointMLP)来学习点云表示，该网络分层地聚合由MLP提取的局部特征，并

目录简介贡献方法OverallCT-block卷积分支Convolution-branch注意力分支Transformer-branch特征传输单元Feature transmission elementNetwork structure分类网络分割网络简介提出了一种新的模块，可以同时提取和融合局部和全局特征，称为CT-BLOCK.CT模块由两个分支组成，其中字母C代表卷积分支，字母T代表Transformer分支。卷积分支对分组的相邻点进行卷积以

目录摘要介绍​PointCNNHierarchical ConvolutionX-Conv OperatorPointCNN Architectures山东大学的工作，将卷积的思想运用到点云。摘要由于点云是不规则的和无序的，传统卷积无法直接作用到点云上，为了解决这个问题，我们从点云中学习一个X变换，以达成以下两个目的：1）获得点输入特征的权重；2）将点排列成一个潜在的正规顺序（实现了点云的置换不变形？）。之后就可以对点云X变换之后的特征进行经典的卷积运算。本文主要是对

语义分割网络部分主要由下采样，上采样和全连接部分组成；每个下采样部分都包含数据采样层、局部空间注意力层和注意力池化层；上采样层采用插值的方式进行原点映射。分类网络部分作者引入注意力机制来增强网络模型从稀疏采样点邻域中获得该邻域显著性结构（特征）的学习能力。空间注意力机制：采样点中心自注意力机制：对采样点中心点（关键点）与他的每个邻居点的空间位置的编码向量做了注意力得分的计算；每个邻域点与中心点的相对空间位置编码方式如下（借鉴了RandLA-Net）：MLP后.

目录PCT的点云处理编码器（Encoder）：物体分类语义分割法线估计Naive PCTSPCT全PCT受Transformer在视觉和nlp任务方面的成功启发，我们基于传统Transformer的原理，提出了一个用于点云学习的新框架PCT。PCT的核心思想是利用Transformer固有的顺序不变性，避免了点云数据顺序的定义，并通过注意机制进行特征学习。该文章提出的PCT可以处理的任务有物体分类、语义分割和法线估计。针对点云处理任务，PCT做出的主要调整如下：

受到Transformer在NLP中扩展成功的启发，我们尝试将标准Transformer直接应用到图像上，并且尽可能少地进行修改。为此，我们将图像分割成小块，并将这些小块的线性嵌入序列（即图像小方块经过FC层映射到一个抽象空间上）作为变压器的输入。每个小块（Image patches）的处理方式和NLP的词嵌入向量的处理方式相同。首先Transformer是比较吃数据的，作者在中等规模的数据集ImageNet上面测试了ViT，发现比ResNet的结果要低几个百分点，这也在作者的预料之中，文中给出的分析原

文章提出的局部特征聚合模块并行应用于每个3D点，它由三个神经单元组成:1)局部空间编码(LocSE)， 2)注意力池化(attentive pooling)， 3)扩张残留块。局部特征聚合模块的结构如下：顶部的两个模块分别是提取特征的局部空间编码块(LocSE)和基于局部上下文和几何形状的加权注意力池化模块(Attentive Pooling)。而底部的面板显示了这些组件如何从宏观上被连接到一起，同时设置了一个残差块(Dilated Residual Block)来增加感受.

本文的骨干网络主要是基于RandLaNet的，所以，对比着RandLaNet看。作者从文章摘要中就指出，本文主要解决的问题是如何从大规模点云中学习特征，因此作者提出一个模块称为空间上下文特征（SCF）模块。SCF模块由三个模块组成：1）局部极坐标表示块2）双距离注意池化块3）全局上下文特征块（类比RandLaNet中的局部特征聚合模块，局部特征聚合模块由：1局部空间编码(LocSE)，2注意力池化(attentive pooling)，3扩张残留块 ）空间上下文特

作者提出，Transformer模型特别适合于点云处理，因为自注意力是Transformer的核心，本质上是一个集合算子：它对输入元素具有顺序不变性和数量不变性，因此，将自注意力机制用于点云是自然而然的，因为点云本质上是嵌入在3D空间的集合。我们将这种直觉具体化，并开发了一个用于3D点云处理的自注意层。该文章的主要贡献在于：1.为点云处理设计了一个表达能力非常强的Point Transformer Layer。该层具有顺序不变性和数量不变性，因此天生适合点云处理。

「论文阅读」PointNet++:Deep Hierarchical Feature Learning on Point Sets in a Metric Space