PointNet家族

最新推荐文章于 2023-04-22 16:59:24 发布

VIP文章 maverick0

最新推荐文章于 2023-04-22 16:59:24 发布

阅读量570

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/maverick0/article/details/118069546

版权

点云数据的特性和挑战

1）点云具有不规则性，顺序不相关性，置换排序不变性对深度学习具有很大的挑战。

（Irregular（unordered）：permutation invariance）

2）刚性变换(scale transorfmation ration)的鲁棒性（Robustness to rigid transformations）

3）点云损害，噪声，部分数据，大场景数据（Robustness to corruption outlier,noise, partial data large-scale data）需要保持鲁棒性，高效性。

PointNet家族

PointNet是将深度学习应用与点云上的应用

PointNet = shared MLP + maxPool（多层感知机+对称函数）

inputPoints映射到高维空间（1024维）之后，maxpool保证了平移不变形

针对刚性变换，Pointnet提出了T-Net，用迷你网络transform-Net（3*3的变化）将输入点云进行对其alignment。无论如何刚性变换，它的表示是规范的。思想应用到深层的特征空间。

PointNet ++ = PointNet + 局部到全局学习泛式

卷积神经网络是有局部的概念的，但是pointnet并没有。作者模仿cnn的架构，让pointnet更好的捕捉局部的模式。于是有了pointnet++。从输入点云采样一些点，以这些点为中心找局部邻域，将局部邻域作为卷积作用域，局部邻域共享pointnet，和卷积中共享卷积核一样。实现了由局部到全局的优化。性能和局部模式的挖掘上有很大提升

Sampling+Grouping+PointNet（capture local pattens better CNN like）

Pointnet backbone做目标检测

https://openaccess.thecvf.com/content_cvpr_2018/papers/Qi_Frustum_PointNets_for_CVPR_2018_paper.pdf

2d 图像里面，用与训练过的detector 生成一些proposal，再利用图像和深度图中的信息得到Frustum Proposal（屏截头体，从2dproplsal恢复出3d的结构）。在做3d的instance segmetation。分割结果进行3d box的估计，利用tnet pointnet的设计进行3d box的网络。