qq_42575422的博客

1、为什么要做这个研究（理论走向和目前缺陷） ?之前做3D目标检测大多基于Anchor来做，不好表达，且不利于下游任务，如跟踪。2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?本文提出将3D目标表达为一个中心点，设计了两个模型，单阶段的CenterPoint和两阶段的CenterPoint。单阶段CenterPoint主干网络用VoxelNet或PointPillar,输出的特征图加一个2D卷积输出目标的中心点（中心点设置及计算损失参考CornerNet），以及对每个点回归3D框尺寸、朝向、

1、为什么要做这个研究（理论走向和目前缺陷） ?主要是为了减少计算量和节约计算时间而设计。2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?每个3D点上的anchor设置成球形，避免了朝向的预定义，也就避免了每个点要设置多个anchor。根据每个3D点预测的得分做NMS得到候选的球形候选区（iou计算是根据交集点数/并集点数），然后对球形候选区的点特征输入到pointnet中预测一个长方体形候选区，然后对长方体形的点随机选一部分做体素化，然后VFE层提取特征，得到密集的体素特征，然后输入到全连

1、为什么要做这个研究（理论走向和目前缺陷） ?多传感器融合向来不是一个简单的事，融合方式设计的不好不但可能不会信息互补，还有可能各传感器的缺点都继承下来，效果更差。2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?做点云和图像的融合。点云利用的是BEV特征和图像特征借助3d点这个中间媒介进行关联，然后把关联上的图像像素点特征加到BEV特征上去，这是稀疏point-wise融合，在特征提取主干网络阶段实现。利用BEV特征预测的3D候选区分别投射到BEV特征图和图像特征图上，得到的BEV roi

1、为什么要做这个研究（理论走向和目前缺陷） ?有anchor的方法往往需要nms后处理，无法端到端的训练。无anchor的方法，往往也无法避免nms,且往往需要做非常复杂的关键点匹配（如cornernet、extremnet)。2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?提出用关键点预测的方法（即预测热图）重新建模目标检测。将检测目标视为其边界框的中心点，根据热图确定中心点的问题，由于中心点只有一个正例热峰，避免了nms去重，其大如中心点位置偏移、尺寸、角度等都是在此中心点的基础上预测

1、 为什么要做这个研究（理论走向和目前缺陷） ?现有的3D目标检测还是效率低。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?以原生的雷达数据（柱面图）作为输入，这样可以使得输入是密集规则的数据，包含5个通道（分别是距离r, 高度z，方位角theta, 强度e,以及一个标记是否包含3D点的通道），对每个像素点预测概率分布（相对中心点在x和y方向的均值作为偏移，以及共用的方差），根据各个像素点预测结果进行聚类，产生的同一个cluster的像素点的预测结果共同决定这个cluster对应的3D

1、 为什么要做这个研究（理论走向和目前缺陷） ?以前做目标检测主流是faster rcnn之流要做anchor和NMS等手工设计。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?将目标检测问题视为集合预测问题，所预测的集合中的每个元素即每个GT集合中的元素一一对应，且每个元素输出的是相对整个图像的位置、尺寸，避免了NMS和anchor设计。具体做法就是CNN主干网络对输入图片提取特征，然后将每个特征的位置信息加上一并输入到Transformer中，输出固定个数的预测结果，每个预测结果不

1、 为什么要做这个研究（理论走向和目前缺陷） ?估计就是为了发论文而写的，看不出要解决什么问题。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?整体来看本文就是F-PointNet的变种，创新不大。先2D检测器crop点云视锥，然后在视锥内做点云的前背景分类，然后对前景点云做坐标系变换（基于PointNet中的T-net实现）以及做最终的3D框的回归，在最终的3D框的回归时加了通道注意力。3、 发现了什么（总结结果，补充和理论的关系）?效果不怎么样，实验也不够充分。摘要：提出了基于

1、 为什么要做这个研究（理论走向和目前缺陷） ?一般融合图像和点云信息做3D目标检测的算法对相机和激光雷达联合标定的要求极高。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?本文要解决的问题就是如何在相机和激光雷达标定没那么准的情况的下还能保证较高的性能，归根结底就是扩大搜索空间，但也不能太大，用2D检测的目标就是限制搜索空间。具体说来就是，用2D检测器做目标检测，同时还要多预测几个参数，即目标的长宽高和航向角。依据这些预测的参数（经过一系列几何变换）可以在3D点云里找到对应的候选区域，

1、 为什么要做这个研究（理论走向和目前缺陷） ?VoxelNet只有4.4fps,SECOND虽然能达到20fps，但还有提升空间。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?算是对SECOND的加速版，将原来3D 体素网格的编码方式改为2D立柱方式，且改用2D 卷积而非3D 卷积处理。还有一些其他的加速操作，比如特征降维，tensorRT等。3、 发现了什么（总结结果，补充和理论的关系）?效果和SECOND差不多，但是快了很多，达到62fps。摘要：PointPillars网

1、 为什么要做这个研究（理论走向和目前缺陷） ?之前的3D目标检测方法（MV3D）有很多问题，比如定位不准，计算量大等。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?基于MV3D做改进，主要改进思路是去除一个FV视角，候选区生成时同时利用3D anchor做中介，寻找在图像特征和点云鸟瞰图特征的对应，然后用双线性插值对这两个特征resize到相同大小（3X3）后通过element-wise average实现融合，后输入RPN网络预测ROI。ROI映射到图像特征和点云鸟瞰图特征融合也是

1、 为什么要做这个研究（理论走向和目前缺陷） ?F-PointNet过度依赖2D检测的结果，且不能很好出遮挡重叠问题。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?先用2D分割网络滤除3D点云中的背景点以节约计算量和减少无用3D候选框的预测，然后用PointNet++对每个前景点中预测3D候选框，同时用也用PointNet++对所有原生点云中的每个点提取一个特征。根据已经预测的3D候选框，找到这个候选框里的所有的点特征输入到第二阶段网络（又是一个简版的PointNet++）预测最终的3

1、 为什么要做这个研究（理论走向和目前缺陷） ?VoxelNet这种直接对点云进行特征提取而非手工设计特征的3D检测算法效果还行但是很慢。以前的方案朝向预测不准。2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?提出了3D稀疏卷积（在流形卷积基础上进行优化），充分利用了计算机内存的局部性和多级缓存特性减少访存，以及成熟的GEMM计算速度优势，GPU并行计算的优势等，加速计算。提出了新的朝向编码方案，避免朝向相反但损失很大的情况。提出了新的数据增强方法，将其他点云里的目标点加到当前点云中，增