MVS: A Tutorial-（2）Multi-view Photo-consistency

光度一致性

photometric consistency, or photo-consistency in short

2.1 Photo-consistency measures

给定一组 $N$ 张图像和一个所有图像都能看见的3D点 $p$，每个图像对 $I_i$ 和 $I_j$ 中的 $p$ 点的光度一致性可以定义为：
其中 $\rho (f,g)$ 是两个向量的相似性度量，${\pi }_i(p)$ 表示 $p$ 到图像 $i$ 的投影，$\Omega (x)$ 定义围绕点 $x$ 的支持域，$I_i(x)$ 表示图像 $I_i$ 在域内采样的图像强度。

The main purpose of the support domain Ω is to define the size of a region where the appearance of the scene is expected to be unique and somewhat invariant to illumination and viewpoint changes.
——
支持域 $\Omega$ 的主要目的是定义一个区域的大小，在该区域中场景的外观希望是唯一的，并且在一定程度上不受光照和视点变化的影响。

请注意，唯一性和不变性通常是光度一致性度量的两个相互竞争的属性。 域 $\Omega$ 越大，域内的局部外观越独特，更容易与其他图像匹配。同时，域越大，由于反射、深度边界或平滑几何假设（例如平面假设），就越难以保持光照和视点的不变性。


后面的 $f$ 和 $g$都是一维向量。
给定彩色图像，存在不同策略来处理不同的通道：

• 彩色图像转换为灰度图
• 独立计算每个颜色通道的一致性，并返回平均值
• 将所有颜色通道的向量连接成一个更大的向量。

2.1.1归一化互相关（NCC）

零均值归一化互相关 (NCC) 是多视图立体算法中最常见和最成功的一致性度量之一。

It is invariant to changes in gain and bias and it is mainly used when lighting and material invariance is required
它对增益和偏置的变化是不变的，主要用于需要照明和材料不变性的情况
——
The main failure modes of NCC are a lack of surface texture and repetitive textures, while the main advantage is its accuracy.
NCC的主要失效模式是缺乏表面纹理和重复纹理，而主要优点是其准确性。

在 NCC 计算中处理彩色图像需要额外注意。 简单地将所有颜色通道连接到一个向量中并应用上述公式并不好。 在诸如均匀纹理表面之类的困难情况下，主要视觉线索通常是其表面上的细微阴影和阴影效果。我们希望 NCC 捕捉每个颜色通道中细微的空间强度变化，这些变化远小于颜色通道之间的强度变化。 通过简单的串联，NCC 相当于仅捕获跨颜色通道的强度变化。 更好的解决方案是独立计算每个颜色通道的 NCC 并返回平均 NCC 分数。
一种更复杂的方法是独立计算和减去每个颜色通道的平均强度（$f¯$ 和 $g¯$），但在计算其方差（${\sigma }_f$ 和 ${\sigma }_g$）时将所有颜色通道连接在一起作为单个向量。 这允许 NCC 捕捉每个颜色通道中的空间强度变化，同时降低具有较小强度变化的颜色通道的权重

2.1.2平方差之和SSD

出于标准化目的，它通常通过指数映射到 [0, 1] 范围。如果 $f$ 和 $g$ 仅因标准差为 $\sigma$ 的加性高斯噪声不同，则具有指数归一化的 SSD 是最佳的一致性度量:

$L2$ 规范的使用使 SSD 对异常值敏感，例如 可见性异常值或偏差并获得扰动。 存在一个标准化的 SSD 变体，有助于缓解其中一些问题:

2.1.3绝对差之和SAD

与 SSD 类似，它对偏差和增益很敏感，因此它很少用于匹配具有广泛光照变化的图像的算法。然而，对于可以保证不同图像的类似捕获条件的应用程序（例如实时应用程序或移动应用程序）来说，这是一个非常好的衡量标准。

2.1.4 Census

与 NCC 类似，它对增益和偏差的变化是不变的，并且需要计算一个明确的支持域。作为与 NCC 的主要区别，它不使用强度值本身，而是使用它们的相对顺序。 给定一个比较运算符和以 $p$ 为中心的支持域 $\Omega$，census 计算一个比特串，描述支持域中的像素是比 $p$ 更亮还是更暗:


其中⊗是连接运算符。census分数计算为两个比特串的汉明距离，可以计算为它们差异的 $L1$ 范数：

Census 与 NCC 相比主要优势在于深度边界，已表明 Census 比 NCC 更鲁棒，并且通常优于它。 请注意，对于任何明确需要 Census 或 NCC 等域的一致性测量，深度边界都是一个问题。 原因是，根据定义，一致性测量假设域中的外观是对象固有的，并且在某种程度上不受光照和视点变化的影响。 然而，这个假设在深度不连续处被打破，因为该域包含前景和背景对象。
Census是对 SAD 的补充。 它为无纹理区域提供了不好的分数，其中 SAD 往往会给出很好的分数，但准确性很差。 因此，提出了将Census和 SAD 相结合的混合措施 。

2.1.5 Rank

Rank 与 Census 是同时提出的，并具有其一些特征。 与Census一样，它对偏差和增益的变化是不变的，并且需要计算一个明确的支持域。 与 Census 不同，它对轮换也是不变的。

2.1.6 互信息Mutual information

2.1.7 Interval comparison

Photo-consistency normalization

它们通常通过具有两个目标的非线性操作进行转换：
i) 将不同的光一致性值归一化到相同的范围，
ii)将原始的照片一致性转换为更接近“几何可能性”的东西。

在上面列举的三个归一化函数中，指数函数在理论上是最合理的，也是最常见的。 如果假设噪声为高斯且没有异常值分量，则它是 SSD 的最佳变换。 但是请注意，纯高斯噪声是不现实的，这就是为什么 SAD 通常比 SSD 更可取的原因。
当考虑光一致性分数的内点/异常点噪声模型时，归一化函数的形状预计为 sigmoid 状，两个平台由相对陡峭的斜坡隔开，见图 2.5。其背后的基本原理是陡峭的斜率作为分离内点/异常值模型的最佳阈值。 例如，对于 SAD，典型的内部误差小于 5 个级别（共 255 个），而典型的异常值高于 10 个级别。 一旦 SAD 高于 10 级，无论是 20 还是 30 都无关紧要，两者都应该给出非常低的几何可能性。同样，低于 $\frac{1}{\sqrt{2}}$ 的 NCC 值通常被认为不够准确并被丢弃。

2.1.8 一致性聚合 Photo-consistency aggregation

一致性是一种嘈杂的度量，通常在计算 3D 几何之前进行过滤。这个额外的过滤步骤与光一致性定义 (2.1) 中使用的支持域 Ω 无关。

2.1.9 一致性表达 Photo-consistency representation

一致性的表示与 MVS 应用程序的场景表示非常相关（见表 3.1）。根据 (2.1) 中的定义，照片一致性是一个体积量，因此可以计算并存储为 3D 体积。最后，一些方法 [74, 85] 将 3D 照片一致性简单地表示为（位置，一致性）对 (pi, Ci) 的列表，其中 3D 照片一致性定义为：

2.1.10 Popular choices

一些措施如 SAD 或 SSD，计算速度非常快，并且很容易适应 GPU等专用硬件。其他在图像中存在偏差和增益变化的情况下特别有效，例如 NCC 和Census。最后，看到同一块表面的图像越多，一致性的标准化就越严格（参见第 2.1.7 节）。