阅读笔记Geometric Structure Based and Regularized Depth Estimation From 360◦ Indoor Imagery

该论文提出了一种全景图深度估计的方法，引入几何先验知识，同时，将结构化的信息作为正则对深度做约束，如下图所示

上图中的structure as a prior module模块是layoutnet里面的内容，并且作者对其提出改进，通过引入一个预测平面的模块，使其更加精细，同时预测平面的模块可以和attention得到的家具的mask相乘，经过和原来的depth feature map 相concate，得到最后的depth。这个depth已经可以用了，但是作者说要想保证输出的depth图保留几何信息，需要对这个输出的depth图做一些正则化，比如我们期望能够从depth图里面获取几何信息，layout之类的，所以作者下面又用了另外的一个网络，对其做预测
这个网络和structure-based是类似的，只不过输入的是经过masked的depth，作者还说，之所以masked，是因为包含家具的话，会让深度估计不准确，所以过滤掉家具的depth，来用于推测结构信息会比较简单一些。
loss一共分为corner的loss，boundary的loss以及plan的loss(prior和regularized都是有的)，同时depth的loss和mask的loss都也有

作者先是使用了合成的数据集做了消融实验，然后使用了standford2d3d和其他方法进行了对比，在standford上获取家具的mask作者使用的是分割的信息。
作者还使用了一些baseline，比如FCRN和Rectnet这种网络，发现在standford上面均有涨点，可能是因为引入了额外的信息吧