H3DNet: 3D Object Detection Using Hybrid Geometric Primitives
论文链接:https://arxiv.org/pdf/2006.05682.pdf
代码链接(pytorch):https://github.com/zaiweizhang/H3DNet
1.介绍
属于VoteNet的提优作品,从一个投票中心点不准,用19个投票中心来,选取与目标距离最近的,其余做约束和特征辅助。
这篇文章的idea受6DOF任务中基于关键点回归启发,多关键点方法应用到3D目标检测任务中有两个优点:1、多个几何图元(作者定义了BB center、BB face center、BB edge center 3个几何图元,即整个bbox的中心点,bbox每个面的中心点,bbox每条棱的中心点)相较于单个几何图元(之前的方法通常只有BB center一个图元)能够给目标的bounding box提供更多更精准的约束;2、同时预测多个几何图元对图元噪点的容忍度更高,网络的鲁棒性更强。
2.网络结构
2.1 VoteNet:
VoteNet 使用pointnet++作为点云特征预处理,学习出原始点云的259(3+256)维特征,从2048个点中采样1024个种子点,经过投票模块,回归出1024个点的位置和特征的offset,再逐点加到原始的对应特征维度上,得到1024个投票点。接着对种子点进行sample和group,得到256个簇点,再输入类pointnet++网络进行propose和classify。NMS后得到最后的proposal。
2.2 H3DNet Architecture
网络的基础来自VoteNet, 融合多投票得到的点、线、面三类几何特征元 ,距离函数模块和proposal和refine模块。(4层的backbone tower)
2.3 网络细节
准备好特征后,进入proposal
从这个函数中,对19个候选的中心选出距离最近的一个,生成初始的Init proposal,然后对其使用点线面的特征进行refine。
2.4 train
目录
H3DNet: 3D Object Detection Using Hybrid Geometric Primitives
训练参数真多。。。。。
3. 实验
4. 总结
这篇文章在bbox,bbox表面,bbox边缘的线面体三个维度上vote中心点,给bbox的预测增加了更细致的约束,让一些仅在bbox中心点约束下无法得到较好结果的类有了更好的效果。第二个创新点就是提出了一个距离函数来产生proposal,实现上更为简单,也不用NMS操作。作为votenet的跟进工作,这篇文章改进的出发点是想针对性地提高votenet里表现不好的类别,比如不完整的目标、空间上不连续的目标,然后在观察了这些类别的特点后,得到了增加vote表面和边缘中心点的想法。