论文笔记：全景图恢复房间结构(Room Layout Estimation From A Panorama Image)

1. DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama (CVPR 2019)

pdf下载 项目地址 笔记
使用等距全景图和透视天花板图，各自一个encode-decoder分支，提出新颖的2分支特征融合方法。对于多角度复杂布局的房间效果较好。

Contributions

• 提出在2个视图上进行2分支端到端学习，最后2分支进行特征融合。
• NN直接输出二维平面图的概率图。后处理比较少。
• 引入Realtor360数据集，包含多角点的复杂房间布局。

2. HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation(CVPR 2019)

pdf下载 项目地址 笔记
把房间布局编码成为3个1维向量：在全景图的每一列，地板和墙的边界、天花板和墙的边界，墙和墙的边界。提出恢复结构的后处理方法速度很快，还提出Pano Stretch数据增强。

Contributions

• 引入了一个1维 $\mathcal{O}(W)$表示法，用于编码整个房间布局。使用这样的表示法进行训练，使我们的方法比以前的最先进的结果更好，同时需要更少的参数和更少的计算时间。
• Pano Stretch数据增强，可以在训练时快速生成新全景图。
• 利用RNN有助于提高精度。RNN能够捕捉房间布局的长程(记忆性)几何图形。
• 由于模型的1维表示和高效的后处理过程，使得模型的计算成本非常低，并且可以很容易地处理非长方体或l形布局的复杂场景。

3. IndoorNet: Generating Indoor Layouts from a Single Panorama Image(Advanced Computing Technologies and Applications 2020)

pdf下载 笔记
本文以全景图和曼哈顿线共同作为输入，构建一个端到端的模型。输出2个预测，分别是墙角和上下墙线。方法类似LayoutNet。

本文值得探讨地方：

1. 输入全景图加上Manhattan线可以提升准确度(虽然提取Manhattan线费时间，但是实际上全景图是需要做Manhattan垂直预处理)
2. 本文提到Gradient Descent Optimizer，但是并没看明白怎么回事。

4. LayoutNet: Reconstructing the 3D Room Layout From a Single RGB Image(CVPR 2018)

pdf下载 项目地址(原) 项目地址(pytorch) 笔记
LayoutNet是直接在全景图上预测房间布局具有代表性的模型，模型结构和RoomNet类似，但是基于消失点对齐改进了准确度。将结构和Manhattan布局对齐。LayoutNet能够预测盒形布局和更普通的布局(比如L形)

Contributions

• 提出通用的从RGB图像恢复Manhattan布局算法
• 证明了使用预处理计算消失点和几何约束，以及后处理优化对于深层的NN仍然有效。直接回归3D布局参数能够提高准确度。

5. PanoContext: A Whole-room 3D Context Model for Panoramic Scene Understanding(ECCV 2014)

pdf下载 项目地址 笔记
PanoContext构建了一个模型，输入是全景图，输出是房间的3D bbox，此外它还能输出房间内主要物体的3D bbox，以及它们的语义类别。FOV=360的全景图的上下文特征信息（主要是位置信息）对于物体检测其效果不逊于物体的外观特征信息。然而正常相机拍摄图片FOV<60，导致上下文信息不足。另外，本论文被多次引用其一原因是标注了PanoContext数据集，在后续全景图恢复房间结构任务中都有使用该数据集。

对于全景图恢复结构的重点：

• 全景图中线段检测方法LSD，消失点检测及对齐
• Orientation Map (OM)和Geometric Context (GC)概念