3D 目标检测综述梳理图解

总览

由于传不了pdf，本人就直接传图片吧

一、Multi-view Methods

梳理：

1. 这一部分的内容主要是在不同view的一个fusion，从早期的三个channel到目前的两个channel，可见BEV&Image FV较为重要 。
2. 其次 我们一直采用点云的 BEV来进行fusion，那么有没有一种可能，Image 也具有一定的BEV信息？
3. 结论：个人认为是有的，无论是之前的传统摄像头采用桶型矫正&梯形校正，从而获得的BEV，还是GAN得到的结果，都说明Image存在一定的BEV信息，但是可能由于数据集采样方式(摄像头参数 高度 场景不一样)不一致，导致最后无法得到一个确定的参数来拿到传统的校正表
4. 猜想：是否可以从每张图片获取相关的校正参数信息，如果这样的，采用少量的数据集进行校准，是不是可以得到一个被提前计算得到的校准表，从而达到节省计算的操作 有人做了

Segmentation-based Methods

1. 该方法主要以3D点云这一处理过程为主，RGB通道主要提供语义分割的信息
2. 第一种idea是采用前景、背景的先验知识去指导3Dproposal的生成
3. 第二种idea采用RGB得到的语义分割的信息、包括class、概率等信息融合到3D点云中

Frustum-based Methods

1. 局限性： 这种方法很明显会受限于2D检测的精度，如果遇见小目标、困难样本以及遮挡问题 点云的优势反而会被限制 容易陷入1+1 < 1的窘境当中
2. 进一步思考：3D检测【点云】本身有不局限于光照的优点，但是采用这种方式很明显会受制于这个问题，从后续的文章可见 即使缺少RGB通道的信息，3D检测的精度也能够达到较高。这可能是由于数据集的场景决定的，比如不会出现两种近似的物种出现【比如猫、老虎幼崽】，而在真正的场景中，可能需要加上unknown的对象，以面对开放场景的问题 【其实数据集里都会对应don’t care等】

Point Cloud-based Mehtods

1. 重点：如何减少无用运算 增加有效运算
2. 方式：1、先提出一个较好的网络模型，这个时候不用太关心其速度，但是需要注重他的性能。2、性能达到目标时，可以针对模型中的各个模块进行耗时测速，以及分析该模块是否合理以及能否采用更好的模块进行替换。3、针对替换后的模块进行相应的调优。
3. PV-RCNN -> PV-RCNN++ & 3DSSD也是如此

BEV-based Methods

基于BEV的好处 可以避免RGB提供的信息错误引起误差，并且事先投影可以有效提高计算效率，从而达到实时性，但是如何解决高度上的信息丢失需要考虑 比如采用额外的channel保存ground & 目标高度

Other Methods

写在最后 这个是我刚入门3D检测时候做的一些整理，所以可能会有些不正确的地方，请大家直接批评指正。如果想要pdf版本可以私聊我，代价就是拿相应的pdf来换，分割、transformer、人脸、GAN、模型压缩等综述都可以 嘿嘿