PointNet学习笔记----------毕业设计记录

宅在家里懒惰成性 大致记录一下学习心得

 

模型输入为三通道点云数据（x,y,z），也可以有额外的通道比如颜色、法向量等，输出整体的类别/每个点所处的部分/每个点的类别。对于目标分类任务，输出为k个分数，分别对应k个可能的类别。对于语义分割任务，输出n x m个分数，分别对应n个点相对于m各类别的分数。

 

 

模型结构

 

 

输入n个三维向量构成的矩阵 通过T-Net进行预处理（这里不是很懂），随后经过数个多层感知机（mlp）。其中，mlp是通过共享权重的卷积实现的，第一层卷积核大小是1x3（因为每个点的维度是xyz），之后的每一层卷积核大小都是1x1。即特征提取层只是把每个点连接起来而已。经过两个空间变换网络和两个mlp之后，对每一个点提取1024维特征，经过maxpool变成1x1024的全局特征。再经过一个mlp（代码中运用全连接）得到k个score。分类网络最后接的是softmax。

为了让模型具有输入排列不变性，一种思路是利用所有可能的排列顺序训练一个RNN。作者在这里采用的思路是使用一个对称函数，将n个向量变为一个新的、与输入顺序无关的向量。（例如，+和X是能处理两个输入的对称函数）。
将点云排序是一个可能的对称函数，不过作者在这里采用一个微型网络（T-Net）学习一个获得3 x 3变换矩阵的函数，并对初始点云应用这个变换矩阵，这一部分被称为输入变换。随后通过一个mlp多层感知机后，再应用一次变换矩阵（特征变换）和多层感知机，最后进行一次最大池化。
作者认为以上这个阶段学习到的变换函数是如下图所表示的函数g和h，保证了模型对特定空间转换的不变性（深度学习实际上是对复杂函数的拟合）。

(不太理解究竟是如何保持的旋转不变性）