【Paper Reading】Homography Loss for Monocular 3D Object Detection

paper: https://arxiv.org/pdf/2204.00754.pdf
code: GitHub - gujiaqivadin/HomographyLoss: Pytorch code of Paper ‘Homography Loss for Monocular 3D Object Detection’
TL;DR
本文提出一种方法利用object之间的关系来帮助估计3d boxes, 同时利用2d box来全局约束相应的3d box(增加2D,3D一致性约束），为了实现以上目标提出了Homography Loss。

Dataset/Algorithm/Model/Experiment Detail
文章的主要Motivation是

• 2d detection可以约束3d detection;
• 单个object受周围object全局影响(有文章做过局部的探索）；
  ​
  
  从BEV平面到image平面的转换可以用Homography 矩阵来表示，文章很大一部分工作就是怎么求解这个矩阵。Homography矩阵有8个自由度，要求Homography矩阵至少需要4点对, 文章才采用了下图所示的5点对来求解矩阵，object的底部4角点+1底部中心点；
  ​
  

Homography Loss
本文提出的全局loss: Homography Loss, 主要是为了利用H矩阵来建立object之间的几何联系。
Candidate Points Modeling:
gt box–> image space:

K内参，[R|t]外参，
Calculating Homography:
2d gt +H来约束3d pred:
​
loss

Experiment
作为插件加入ImVoxelNet, MonoFlex：
​

需要注意的是根据模型投影的不同，bev–>img/ img–> bev，求得的不同H矩阵，效果不同：
​

Thoughts
之前的单目检测多是单个物体独立的检测，本文利用了目标之间的相互关系，像PGD等也利用了几何透视关系来增强网络深度估计的能力；本文增加了2D3D的一致性约束，提高了模型的能力。

假如地面不平坦的情况下，导致外参改变，网络是否还鲁棒？
是否需要直接学习H矩阵，在内参矩阵已知且固定的情况下，学习外参是否更合适？