中科院自动化所分享----深度学习在3D点云处理的探索

Brief

 这里是视频连接，很新的一个分享，B站上还有很多类似的分享会，微软亚洲研究院的分享会也很有价值。这篇博客主要的内容是对此次分享的内容做一个简单的记录，对入门的自己了解这方面有一个不错的引导。

3D representations

• multi-view
• voxel
• mesh ---->GNN
• image+deapth
• point-cloud----> gnn+cnn

point cloud

• raw data
• 3D shape
• simple representation
• open problem

datasets

• princeton Modenet（1 k）
• shapenet （2k）
• partnet (CVPR19 很新，标注很新，新提出来，好没开始开发，而上述两个数据集已经精度很高了)
• Stanford 3D indoor scence （8K,CVPR 16）
• semantic 3D （ISPRS17 ,4 BILLION）
• ScanNet (seg+det,CVPR17)
• KITTI
• nuScence（CVPR19,自动驾驶）

challenges

• unordered —>置换排列不变性
• rigid transform ---->刚性变换鲁棒性
• large-scale data ---->高效性

Brief review

PointNet family

pointnet

• shared MLP+max pool（置换不变性） +T-NET(刚性变换铝棒性)
• 没有局部范式，CNN是有局部的，因此后续出现局部特征提取的

pointnet++

• sampleing +grouping +Pointnet

首先是采样一些点，然后把这个点为中心选取一个局部，然后在对这些局部领域采用一个共享的pointnet 得到其特征表示，这个共享的pointnet就像是CNN的卷积核（体会共享的含义！！）

F-pointnet

flowNet 3D,CVPR19（光流估计）

• set cov layer （类似pointnet++）+pointnet+upcov layer

Regular processing

voxelNet

SPLATNet（CVPR18）

• 双边卷积+高维晶格空间+哈希

PCNN (SIGGRAPH 18)！

• 没有损失的投影到grid空间
• 理论性很强。

PointCNN （NIPS18）！！

• end to end（优雅）
• 卡房变换矩阵？？？（同时加权和置换，把输入的点云变成一个规范的表示，后许直接进行卷积）
• 局部特征+升维特征

PointSIFT （arXiv18）！！

对每一个中心点，选择一个领域点。
沿着轴编码，按照顺序对后面的每一个轴进行特征卷积
scale-awared

SO-NET(cvpr18)！！

• 自组织映射
• 关键点

特征点映射

pointwise CNN（CVPR18）！！！

【图】
暴力规则化

Kd-Tree（ICCV17）

encoder+decoder

FCPN（ECCV18） ！

• 处理大量的点云，全卷积的范式
• 3D grid+pointnet+3D CNN（和voxel很像）

graph-based modeing

DGCNN(TOG19)

• 边缘卷积，动态图网络

GCNN (MM18)

Gan for point cloud (ICLR19) !!

【图】

Spectral graph conv

谱域做卷积

superpoint Graphy(CVPR18) ！！!!

• minimal partition +GCN

oversegmentation （CVPR18）!

上文的改进

Deep GCN(ICCV19)!!!

• 残差引入Graph learning

Convolution kernel

KC-NET(CVPR18)!!

• 定义核，不同的核对局部有不同的响应。

KPConv (arixv19) !!

MCCNN

• 蒙特卡洛卷积
• 处理密度不一致的问题

PointConv(CVPR19)！

GeoCNN(CVPR19)！！

Tangent Conv（CVPR18）!!

• 投影+插值

ACNN(CVPR19) ！！

• 环形卷积

pointWEB(CVPR19)

• 不仅仅局部，每一个点也会探究和所有点之间的关系

Robutness

rigid transformation

• data augmentation
• align

T-net

sampling density

• multi-sacle
• 蒙特卡洛引入

一些研究(旋转不变性)

Sphenrical CNNS(ICLR 18 best paper)

CluesterNet (CVPR19)！！

• 直接构造一组旋转不变性的工作

RS-CNN(CVPR19) !!!

DensePoint (ICCV19)

等把pointpillars的实验和改进搞定了再继续跟