一、2007年Hoiem发表论文”Recovering surface layout from an image[1]”提出使用几何上下文进行布局估计。开创了三步走法完成室内空间布局估计，将单幅图像布局估计以消失点、候选多边形为假设，提出将单幅RGB图像过分割成区域超像素图像，然后组成多个分割端恢复场景表面的三维布局。
几何上下文 Geometric context
场景几何体的粗糙感可以从单一图像通过学习不同表面的外观基础获得。
贪婪推理方法Greedy reasoning
利用几何上下文顺序建立像素到超像素区域的映射。所谓几何上下文可理解为一种特征表示方法。
分别使用聚类凝聚亲和力合并区域，使用分类区分亲和力差异大的区域。可使用Adaboost或决策树的方法完成。
特征方法如下表
二、Bai 发表论文”Fast Dynamic Programming for Labeling Problems with Ordering Constraints[2]”
假定摄像头是正对着室内场景的区域，那么将室内空间必定可分为如图所示的M、N、S、W、E同色区域和NW、NE、SW、SE混色区域，同色区域的属性可通过相对位置进行确定，混色区域的实质是在该区域中寻找到一条分割线将区域完美分开。
以上方法仅使用像素。
三、2011 年Sampling Bedrooms[3]提出Room as a cuboid。将室内空间建模成一长方体。
地板被约束为平行于x-z平面，房间只能绕垂直轴旋转。则r=(x,y,z,w,h,l,gamma)
其中x,y,z表示中心坐标,w,h,l表示宽高长，gamma表示旋转角度。
其假设主点在中心，没有剪切量。
Camera model定义为c=(a,b,f)，a表示俯仰角，b表示横滚角。
四、2009年Hedau 发表论文”Recovering the spatial layout of cluttered rooms[4]”
用于处理左墙、右壁、前壁、天花板、地板和对象。使用的特征包括颜色、纹理、边缘和消失点。传统机器学习方法为像素分割成超像素提供标签置信度。
步骤:
- 在原始图像中检测长线段（A）；
- 使用这些线段查找消失点，并分别对消失点和线段着色；
- 结合上述信息以及其它特征生成一组可能的布局(C)；
- 排名靠前的的布局产生标签概率的图分别是左墙、地板、右臂和对象(D)；
- 反过来用这些图重新估计特征和并产生二次布局排名。排首位的布局就是估计的布局(E)。
成像模型如下：
该文章创建了一个数据集Hedau。
五、2009年 CMU的David C.Lee发表论文”Geometric Reasoning for single image structure recovery“[5]指出能够从图中提取有价值的线段，并以此给出室内结构的合理解释和三维重建。
创新点：
1、结合曼哈顿世界假设和单地板-单天花板模型，提出室内世界模型(Indoor world model)。该模型能够在二维图像中清晰的表达三维模型。对于地板容易遮挡，可利用先找到天花板和墙的边界，然后找墙和地板的边界，从而推断几何结构。
2、几何推理方法。室内的几何信息大多来源于墙面的连接，定义为角落。对角落的几何限制将有效的还原整个场景。
角落种类有：凸角convex，凹角concave和遮挡角occluding三种。如下图所示，第一行分别为concave corner、convex corner和occluding corner。
另外可根据场景中两个灭点的垂直线划分相机位置，每个位置会存在角落的四种布局情况，如下图所示。根据以上这些约束可以进行几何推理。
下图为一例程
如上图所示由线段特征生成的假设。
六、2013年Jian Zhang发表论文”Estimating the 3D Layout of Indoor Scenes and its Clutter from Depth Sensors[6]”提出使用RGB-D数据进行室内空间布局估计的方法。使用NYU v2数据集。
2013年 Schwing发表论文”Joint 3D Layout and Object Reasoning from Single Images[7]”提出从给定单个图像得到布局及其中对象的存在。
七、2015年Liu发表论文”Rent3D:Floor-Plan Priors for Monocular Layout Etimation[8]”提出使用单目图像和平面图做重建的方法。
得到房屋空间布局估计，结合Floor Plan给出的平面图和房屋高度，计算当前的vp0和vp1。
上图中房屋中window和墙的比例也可以用来确定vp1点。
如下图所示，将估计的空间布局和相机方位放置在Floor-Plan中。
将得到的面映射到3D的室内空间之上。
八、2010年 Lee发表论文”Estimating Spatial Layout of Rooms using Volumetric Reasoning about Objects and Surface[9]]”提出一起提取室内空间布局和场景中对象。
传统方法总结：手工特征设计、消失线、线段特征集合(LM)、几何上下文标签(GC)、方向图(OM)物体位置等。排序布局的结构并评价回归。
参考
- ^Recovering surface layout from an image
- ^Fast Dynamic Programming for Labeling Problems with Ordering Constraints
- ^ Sampling Bedrooms
- ^Recovering the spatial layout of cluttered rooms
- ^Geometric Reasoning for single image structure recovery
- ^Estimating the 3D Layout of Indoor Scenes and its Clutter from Depth Sensors
- ^Joint 3D Layout and Object Reasoning from Single Images
- ^Rent3D:Floor-Plan Priors for Monocular Layout Etimation
- ^Estimating Spatial Layout of Rooms using Volumetric Reasoning about Objects and Surfaces
428
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
