Deep Learning on Point Sets for 3D Classification and Segmentation

         点云数据是一种重要的几何数据结构， 由于其不规则的格式， 大部分研究都集中在怎样将数据转换成3d立体网格. 但是这样的工作是大量的且会出现问题. 所以作者提出一种新的网络结构来处理这样的情况，利用max_pooling来处理3D非有序点云.

Net Architect

• Classification NetWork

  • 该网络的输入是 $n\times 3$, 其中n是点云的个数.

  • 其中第一个 input transform (简称IT) 中的 T-Net 的结构是经过一个步长为1的 $1\times 3$ 卷积, 输出为64维. 然后经过两个步长为 $1\times 1$的卷积输出分别为 128, 1024.然后max_pooling, 步长为$n\times 1$.最后经过两个输出分别为 512, 256, 9的全连接层. 其中最后一个全连接层不加激活函数和batch normal. 得到一个 $3\times 3$ 的转换矩阵. 原始输入乘以转换矩阵得到作为下一层的输出.($n\ast 3$)

  • 将上一层的输出分别经过 $1\times 3$ 和 $1\times 1$ 的卷积输出都为64维. 作为下一层的输入( $n\times 64$).

  • 经过一个 feature transform(简称FT), FT 与 IT 类似, 只是第一个卷积核为 $1\times 1$ ($n\times 64$).

  • 经过三个卷积核为 $1\times 1$的卷积核,输出分别为64, 128, 1024. 最后再经过步长为 $n\times 1$ 的max_pooling 层($1024$).

  • 经过两个全连接层(加入dropout, keep_prob=0.7)输出分别为512, 256, 最后再经过一个连接层, 输出的维数为要分类的维数.