Pointsift

最新推荐文章于 2024-04-14 09:53:14 发布

jack_201316888

最新推荐文章于 2024-04-14 09:53:14 发布

阅读量318

点赞数

分类专栏： 3DCVer AI

原文链接：https://blog.csdn.net/shengyan5515/article/details/82965659

版权

AI 同时被 2 个专栏收录

135 篇文章 6 订阅

订阅专栏

3DCVer

6 篇文章 3 订阅

订阅专栏

文章目录

最近看了PointSIFT这篇文章，写一下笔记，有些地方还不是很明白，会回来补充。另外按照作者提供的方法，在服务器上用了10天才完成了整个网络的训练，感觉时间还是很长的。
题目：PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
文章地址：https://arxiv.org/abs/1807.00652
代码地址：https://github.com/MVIG-SJTU/pointSIFT

摘要

we design a PointSIFT module that encodes information of different orientations and is adaptive to scale of shape.
Specifically, an orientation-encoding unit is designed to describe eight crucial orientations.
通过堆叠多个orientation-encoding单元，能够得到多次度的表征，

介绍

问题： 2D convolution misses out the 3D geometry information (normal and shape), while 3D convolution requires heavy computation.
pointnet：It not only accelerates the computation but also notably improves the segmentation performance.
SIFT：SIFT considers two fundamental features of shape representation, namely orientation-encoding and scale-awareness.具体而言，尺度感知意味着SIFT可以选择最具代表性的目标形状尺度，而方向编码可以全面地感知不同方向的图案。
pointSIFT最重要的部分是一个方向编码单元，它将8个方向的最近点的特征进行卷积。进一步的堆叠OE单元能够提供不同的尺度，使得具有多尺度感知。

PointSIFT基本结构

合适的尺度
方向编码

PointSIFT模型

pointSIFT会计算以点p为中心的一组点的描述。

overview

在这里插入图片描述

输入输出都是n∗d

n∗d的特征。
有多个堆叠单元，每个单元表示不同的尺度（除了最后一个单元），最后一层通过快捷方式连接汇总有短信息，来启用比例感知。每个单元都是一个方向编码卷积处理。

方向编码卷积

为了捕获形状模型，我们希望不同方向的形状信息能够被明确的编码。因此，针对所有的点提出了方向编码卷积，p0

p0和其具有的特征f0f0，3D空间以 p0p0为中心划分为8个octant（子空间），便是8个不同的方向。在每个点，搜寻距离p0

p0最近的点，用他的特征表征这个octant。因为远离p0的某些点无用于表示p0。在八分圆中，如果我们在搜索半径r内找不到任何点云，则使用特征f0来表示该八分圆。
在这里插入图片描述

为了使卷积具有方向意识，我们沿着三个轴即X，Y和Z执行三级卷积。将搜索点的特征放入张量M∈R2×2×2×d，其中前3个维度表示8个八分圆。例如（1,1,1）表示top-front-right八分圆的特征。三阶段定向卷积：
M1=g[Convx(Ax,M)]∈R2∗2∗d

M1=g[Convx(Ax,M)]∈R2∗2∗d
M2=g[Convy(Ay,M1)]∈R2∗dM2=g[Convy(Ay,M1)]∈R2∗d
M3=g[Convz(Az,M2)]∈R1∗dM3=g[Convz(Az,M2)]∈R1∗d
Ax,Ay,AzAx,Ay,Az是要优化的卷积权重，Convx(Convy,Convz)

Convx(Convy,Convz)是沿X（Y，Z）方向的卷积。g是ReLU(Batch_norm()).经过方向编码卷积，每个点被表示为d维度的矢量。该矢量以方向编码方式表示p0周围的形状图案。

讨论

计算复杂度和球查询搜索一样。
空间复杂度要小于pointnet++，因为只需要搜索最近的点。
相比于随机点搜索，我们的方案能够提出更可靠和稳定的表征点。
对于K近邻搜索，它可能遇到所有K个最近邻集中在一个小区域并降低表示能力的挑战。如下图所示：使用K近邻，所有选择点都来自一个方向（红点）。如果我们选择不同方向的点（绿点），表示能力会更好。