Panoramix 算法笔记

论文名称：Efficient 3D Room Shape Recovery From a Single Panorama
Github地址：https://github.com/YANG-H/Panoramix

算法核心笔记

一、约束图中的五种顶点

Graph G=(V，E) 将所有线和超像素编码为顶点 V。

如图一所示，两种类型的线和三种超像素被认为对应于预处理中施加的不同自由度（DOF）。

• DOF = 1 的线条只能在固定方向的两条固定光线上滑动，
• DOF = 2 的线条是自由的。
• DOF = 1 的超像素具有已知的平面法线，它只能在其视锥内滑动；例如，水平（地板/天花板）超像素的法线固定为垂直。
• DOF = 2 的超像素被限制为与已知方向平行；例如，垂直（墙）超像素的平面必须与垂直方向平行。
• DOF = 3 的超像素不施加方向限制。

二、约束图

两种约束：连接性(connectivity)约束Econ 和共面性(coplanarity)约束Ecop。

连接性约束在顶点之间表现出四种连接方式，如图二。

• 共享相同边界的相邻超像素之间的连接；
• 具有不同方向的线的交点；
• 具有相同方向的线的共线性；
• 相邻线与超像素之间的连接。

共面性约束只关注可能位于同一平面上的超像素面。

三、顶点参数化

文章的目标是预测观察点所有可见表面的深度，通过假设每个超像素内的表面平面度，可以简化任务以推断超像素的平面方程。

将 Xi 表示为对顶点 i ∈V 的未知参数进行编码的向量，并使用 Ci 表示 i 的已知值的集合。令 dfi 为 i 的自由度。表1列出了拟议的超像素参数化，其中 i 代表每个超像素。

• 如果 dfi=1，则令 ni 为其平面和 Ci 的单位法线向量。定义 Xi=(1/di)，其中 di 表示从平面到视点的距离。
• 如果 dfi=2，则 Ci={ui}，其中 ui 为表面平面必须平行的单位方向向量。定义 Xi=(ai,bi)⊺，它对应于平面方程 aix+biy+ciz=1 的 (ai，bi，ci) 中的两个参数。
• 如果 dfi=3，则Ci为空，因为对其方向没有限制。Xi 直接定义为与平面参数相对应的 (ai,bi,ci)⊺。
  

许多参数化方法可用于这些超像素。例如，我们可以简单地定义 Xi=(di) 如果 dfi=1，或者定义 Xi=(θi,di)⊺，如果 dfi=2，其中 θi 表示沿 ui 方向的旋转角度，di是其平面到视点的距离。

如表1所示，文章对超像素进行参数化处理因为从提出的超像素参数 Xi 到其平面系数 Πi=(ai，bi，ci)⊺ 可以进行线性变换。转换矩阵 Pi 列在表1的第四栏中。所有这些矩阵都满足 Πi=(ai，bi，ci)⊺=PiXi。

对于线段，文章建议使用其支撑平面来编码其空间布置。线的支撑平面由两个要求定义：

• 它必须在空间中包含该线，
• 它必须正交于穿过视点并包含线的平面。

例如，图3中的线（P1i，P2i）的支撑平面应始终包含相应的3D线，并且应正交于包含射线 OP1i 和 OP2i 的平面。

3D中的提升线与其支撑平面之间存在一对一的对应关系，并且它们共享相同的DOF值。 因此，我们可以将线视为超像素的退化形式，并使用表1所示的相同方法对其进行参数化。

特别地，如图3所示，对于 DOF＝1 的线 i=(P1i，P2i)，表1中的 ni 表示其支撑平面的法线。 对于 DOF=2 的线 i，表1中的 ui 表示包含线 i 并通过视点 O 的平面的法线。

约束求解CLLS

• Econ下的所有类型的连接约束都具有相同的目标：使某些连接点上两个顶点的深度相等。
• 如图4所示，如果约束是两个相邻超像素之间或一条线与一个超像素之间的连接，则其连接点对应于全景图中边界或线上的公共像素。
• 如果约束是两条线之间的交点或共线关系，则其连接点对应于全景图中这两条（延伸）线共享的点。

遮挡识别

由于约束因素，确定限制因素Econ和Ecop仍然具有挑战性。 房间遮挡可能被检测到的线段覆盖，并且倾向于遵循相干规则。 例如图5，如果在 li 上存在任何遮挡，则遮挡的侧面可能会沿 li保持连贯。