Layout网络阅读笔记

一种仅通过单张透视图或全景图就能估算室内场景3D布局的深度卷积神经网络。能够推广到非长方体的曼哈顿布局中。被 CVPR 2018 接收。

创新点：

1.提出了根据 RGB 图像推断出布局的算法与LayoutNet网络，它适用于曼哈顿布局的透视图和全景图。基于消失点对齐全景图像之后，利用深度网络直接预测边界与角落和边界。通过预测的角落与边界图，利用几何约束生成3维布局。

2.通过添加目标函数以直接回归 3D布局参数，从而更好地预测用于最终解决布局预测问题的边界和角落图。

3.扩展了斯坦福「2D-3D」数据集的注释，提供了可用于后续工作的房间布局注释。

 

                                                                        图 1 网络架构图

LayoutNet网络遵循编码器-解码器策略。网络的输入是单张 RGB 全景图和曼哈顿线图的级联。该网络同时预测布局的边界和角落的位置。利用3D布局参数损失提高预测准确率。最终的预测结果是一个曼哈顿约束下的布局重建。

由图所示，LayoutNet 方法的工作流程包含四个步骤。第一步，全景图像对齐，系统分析消失点，并且将图像与地面对齐在一条水平线上。这种对齐方式确保了墙与墙的边界是垂直的线，降低误差。第二步，使用一个带有编码器-解码器结构和跳跃连接的卷积神经网络直接预测图像上的角和边界（三通道：墙-墙、墙-天花板、墙-地面）的概率图。建立2D下房间布局。这篇文章将两个一起训练，拟合预测角落和边界。第三步，将2D角和边界的布局图映射到3D布局图，地平面在x-z轴上对齐，用6个参数对布局进行参数化：宽度sw、长度sl、高度sh、平移T（tx,tz）、旋转r。为3D布局参数训练一个回归量d={sw,sl,sh,tx,tz,r}。解决三维布局优化过程的损失很难在网络中进行反向传播的问题，提升准确度。第四步，利用曼哈顿约束恢复三维布局。