PointSIFT 论文笔记

最近看了PointSIFT这篇文章，写一下笔记，有些地方还不是很明白，会回来补充。另外按照作者提供的方法，在服务器上用了10天才完成了整个网络的训练，感觉时间还是很长的。
题目：PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
文章地址：https://arxiv.org/abs/1807.00652
代码地址：https://github.com/MVIG-SJTU/pointSIFT

摘要

we design a PointSIFT module that encodes information of different orientations and is adaptive to scale of shape.
Specifically, an orientation-encoding unit is designed to describe eight crucial orientations.
通过堆叠多个orientation-encoding单元，能够得到多次度的表征，

介绍

• 问题： 2D convolution misses out the 3D geometry information (normal and shape), while 3D convolution requires heavy computation.
• pointnet：It not only accelerates the computation but also notably improves the segmentation performance.
• SIFT：SIFT considers two fundamental features of shape representation, namely orientation-encoding and scale-awareness.具体而言，尺度感知意味着SIFT可以选择最具代表性的目标形状尺度，而方向编码可以全面地感知不同方向的图案。
• pointSIFT最重要的部分是一个方向编码单元，它将8个方向的最近点的特征进行卷积。进一步的堆叠OE单元能够提供不同的尺度，使得具有多尺度感知。
  

PointSIFT基本结构

• 合适的尺度
• 方向编码

PointSIFT模型

pointSIFT会计算以点p为中心的一组点的描述。

overview

• 输入输出都是$n\ast d$的特征。
• 有多个堆叠单元，每个单元表示不同的尺度（除了最后一个单元），最后一层通过快捷方式连接汇总有短信息，来启用比例感知。每个单元都是一个方向编码卷积处理。

方向编码卷积

为了捕获形状模型，我们希望不同方向的形状信息能够被明确的编码。因此，针对所有的点提出了方向编码卷积，$p_0$和其具有的特征$f_0$，3D空间以 $p_0$为中心划分为8个octant（子空间），便是8个不同的方向。在每个点，搜寻距离 p 0 p_0