Portrait Lighting Transfer Using a Mass Transport Approach

Portrait Lighting Transfer Using a Mass Transport Approach

摘要

照明是人像摄影的一个关键因素。然而，良好的照明设计通常需要复杂的设备和大量的时间和专业知识。我们的工作简化了这项任务，使用重新照明技术，转移到另一个人像所需的照明。我们处理这个具有挑战性的问题的方法的新颖之处在于我们将重新照明作为一个大规模运输问题来表述。我们从只捕捉照明整体色调的标准颜色直方图匹配开始，并展示如何使用质量传输公式使其依赖于面部几何结构。我们将一个可变形的三维人脸模型拟合到人像上，并将每个像素的颜色值与相应的三维位置和法线相结合。然后，我们在这个增强空间中解决一个质量传输问题，生成一个颜色重映射，实现局部的、几何感知的重照明。我们的技术是稳健的变化，在面部外观和小错误的面部重建。正如我们所演示的，这使得我们的技术能够处理各种肖像和照明条件，包括对以前的方法具有挑战性的场景。

1. 绪论

我们的方法有几个优点。由于是非参数化的，它对人脸的外观和光照很少做假设，这使得它能够处理广泛的光照条件和对象，包括非真实感图像。正则化产生的鲁棒性使我们能够依赖于一个通用的三维模型，并使我们的结果对可能出现的微小偏差具有鲁棒性。我们在各种主题和照明上展示了这些特性，并通过用户研究表明，我们的算法产生了合理的重新照明结果，在许多情况下优于其他重新照明技术。

贡献。总之，我们的贡献是：1.提出了一种新的人脸重照明方法，利用质量传输公式在图像间传递光照。2.一种正则化方案，使该技术对人脸外观和几何结构的变化具有鲁棒性。3.一条完整的管道，提高了面部重新照明和合成的技术水平。

3、

在本节中，我们将介绍我们的方法的核心部分，即质量传输公式。我们首先将颜色直方图转换表示为肖像重照明背景下的质量传输问题，并引入一种结合位置和法线的算法。

给定一个输入图像I和一个参考图像R，我们创建一个relit输出图像O，其中包含参考光和输入照片的姿势、身份和表情。我们使用表达式流算法（Yang等人，2011）将3D人脸模型拟合到二维（2D）肖像上。我们将三维模型的三维位置和曲面法线投影到图像平面上，得到每像素的位置和法线。这给了我们一个颜色位置法向量（c，p，n）在每个像素的输入和参考图像。我们通过匹配这些高维向量在联合空间{colors}{positions}{normals}中的分布，将照明从参考转移到输入图像。通过这种匹配，我们只保留变换后的输入分布的颜色，并将其与原始位置结合使用来创建最终的relit图像。图1说明了我们的技术的管道。

3.1 彩色直方图变换的重构

Reinhard等人（2001）通过将颜色统计信息从一幅图像传输到另一幅图像来匹配两幅图像的颜色。皮蒂é et al.（2005）通过传输完整的3D颜色直方图扩展了这一点，从而涵盖了所有与颜色相关的统计数据。如图2所示，对于人脸重新照明，此方法生成的近似结果仅捕获照明的整体颜色和色调。我们将在后面更详细地讨论这个问题，但是首先，我们将先前已知的颜色直方图匹配过程解释为一个大规模传输问题。这一解释将是我们解决产生更好的面部重新排列结果的基础。

直方图传递已知与质量传递有关，例如，见Bonneel等人（2011）。直观地说，输入和参考直方图可视为沙堆，人们试图移动沙堆，将输入堆转换为参考堆，同时最小化工作量（由运输质量与运输距离的乘积定义）。在颜色直方图传输的背景下，质量传输方法通过尽可能少地修改输入颜色来匹配目标直方图，这对于许多应用来说是一个理想的特性。在形式上，颜色直方图传递中的质量传递问题定义如下：用HI和HR分别表示输入和参考图像的归一化颜色直方图，用i和j表示输入和参考颜色。对于颜色i的输入像素和颜色j的参考像素之间的距离，我们使用颜色空间中的L2范数ci-cj，其中ci和cj是表示i和j颜色的3D向量。有了这个符号，质量运输问题寻求最小化：

其中，未知数Tij表示分配给颜色j的具有颜色i的像素的比例。方程式（1a）中的总和表示将HI转换为HR所需的总工作量。约束方程（1b）强制质量的非负性，并且方程（1c）和（1d）确保整个输入直方图与整个参考直方图匹配。最小工作量（方程式（1a））被称为输入直方图和参考直方图之间的土方机距离（Rubner等人，2000）或Wasserstein距离（Villani 2003，2008）。方程（1）通常被称为运输问题的Kantorovich公式，相当于一个线性规划（Villani 20032008）。

导出映射。Transport T创建输入颜色和参考颜色之间的对应关系。上述质量传输公式（等式（1））的解是耦合的，即，输入颜色可以与多个参考颜色相关联。在我们的上下文中，这种形式的耦合是不可取的，因为它可能会在颜色均匀的区域引入不连续性。相反，我们寻求的解决方案是一种映射，即具有相同颜色的所有像素都与相同的参考颜色相关联。形式上，我们感兴趣的是每个输入颜色ci被分配一个参考颜色的情况。我们将ji命名为参考颜色的索引，f命名为将ci映射到cji的函数，即f（ci）=cji。在这种情况下，运输问题就变成了

上面的能量（方程式（2））被称为传输问题的Monge公式，并且与耦合情况不同，它可能并不总是有解，例如，当输入图像和参考图像具有不同数量的颜色时。也就是说，存在提供近似解的解算器，例如，见Bonneel et al.（2011）和Rabin et al.（2012）。我们使用切片Wasserstein距离算法（Rabin et al.2012）来估计映射f，使得Hf（I）≈ 人力资源部。正如我们将在验证部分看到的，这足以产生令人满意的视觉效果。我们将在第3.4节中进一步描述切片Wasserstein距离解算器及其特性。

3.2 合并位置和法线

上一节讨论的颜色转移技术的问题是它忽略了面的几何图形。例如，输入图像中前额上的像素可能与脸颊上的像素具有相同的颜色。仅颜色传输将把这两个像素映射到相同的参考颜色，从而产生不捕捉照明变化的几何依赖性的重排结果（图2（c））。

我们通过计算每个像素的位置和法线以及它的颜色来解决这个问题。像素的位置p和法线n是通过将3D人脸模型拟合到图像上并将3D位置和法线投影到图像上而获得的。我们的方法通过在距离函数和直方图中添加位置和法向分量来扩展方程（2）的公式。为了清晰起见，我们引入了s=（c，p，n），这是连接像素的颜色、位置和法线的向量。这会导致以下问题：

其中HI-和HR-表示{colors}{positions}{normals}乘积空间中的归一化输入和参考直方图，fc、fp和fn分别是f的颜色、位置和法线分量，wc、wp和wn分别是控制颜色、位置和法线的相对影响的权重，在转移过程中。

仅颜色方法（等式（2））仅最小化颜色变化，并且可以将空间上遥远的像素相互映射，只要它们的颜色足够相似。将位置和法线合并到传输公式中（等式（3））使得映射考虑面部几何。位置项pi f p（si）惩罚长程配对，并支持保持参考照明空间布局的局部对应。类似地，正常项nifn（si）阻碍了不同方向点之间的对应。这在诸如鼻子两侧这样的区域中特别有用，这些区域在空间上很近，但通常照明方式不同。图2说明了等式（3a）中每个项的优点。

与等式（2）类似，最小化等式（3）的传输创建映射f，该映射f在应用于I时生成直方图HR的输出。因为这种传输是在乘积空间中定义的，所以除了修改输入像素位置和法线的颜色之外，它还会修改它们的位置和法线，也就是说，它会改变颜色并扭曲面几何体。由于我们的目标是在保留输入面几何体的同时仅传输参考光，因此我们将传输的效果限制到颜色空间c，即，我们仅对输入图像I应用fc。

3.3 基于随机抽样的正则化

到目前为止，我们已经隐含地假设两个面在相同的光照下生成具有相似直方图的图像。但实际上，真实世界中人脸几何、姿势和光照的变化会导致直方图的差异，如果处理不当，可能会降低结果的质量。例如，如果参考面上的阴影区域较大，则严格传输会在输入面上应照亮的区域中引入阴影。皮肤纹理的变化也会导致局部扰动。在传输方面，两个不同的面生成具有轻微不匹配的分布，例如，具有稍微不同的暗像素比例。这产生了一个不连续的映射，这反过来又产生了图2中所示的轻微退化。

我们通过规范交通来解决这个问题，以防止通信中出现较大的局部差异。附录详细说明了如何使用随机抽样平滑映射函数fc。简言之，我们将每个样本（c，p，n）替换为具有相同位置p和n但颜色c+的ns随机样本ν, 其中随机向量ν 服从高斯分布σ . 直观地说，额外的示例提供了新的对应选项，允许解算器找到更平滑的映射。与基于熵的正则化（Solomon et al.2015）相比，我们的方法的优点是仍然可以生成映射。图3显示了该技术的效果，图2（e）将其与非正则化情况进行了比较。

3.4 Solving the Mass-Transport Problem

方程（3）中描述的质量输运公式可使用线性规划求解器求解。然而，这些解算器对于大量的点是难以计算的。对于这些方法，我们的特殊问题是具有挑战性的；重新照亮一幅640-480的图像需要在8维（8D）空间中估计100万个点的传输（随机采样）。我们使用Rabin等人（2012）提出的解算器代替精确的输运，该解算器将输运能量（方程式（1a）），也就是Wasserstein距离，近似为1D输运能量之和，对应于任意轴上的投影。这种近似称为切片Wasserstein距离（Sliced Wasserstein Distance），它导致了一种迭代算法，可以解决一系列一维质量传输问题，这可以通过一维直方图匹配有效地完成。

该算法的工作原理如下：为简单起见，我们假设每个像素对应一个唯一的（c，p，n）三元组，i和j也可以用来索引像素。如果两个像素共享样本三元组，那么我们为每个像素创建一个样本，我们的解算器可以无缝地处理这种情况。我们省略了退化的情况，以简化表示和伪代码（算法1）。我们将迭代t后的输入样本点命名为si（t）=（ci（t），pi（t），ni（t））。在每次迭代中，输入点和参考点被投影到一个随机定向的坐标系的轴上。在投影输入点和参考点之间沿该坐标系的每个轴执行一维直方图转换，以创建中间输入值s i（t）。在（t+1）迭代处的修改输入点通过在该方向上采取部分步骤来获得，即si（t+1）=（1）α)硅（t）+αs i。实际上，我们使用α = 0.2，如Bonneel等人（2015a）和niter=300次迭代。算法1总结了这个过程。

该算法采用Rabin等人提出的求解器（相当于Piti的N维PDF传输技术）é 不同之处在于，它们将输入点移动了一整步（即α = 1） 在每次迭代中。在实践中，我们发现Pit算法只需要大约20次迭代，这使得它的速度更快，但是它的输出在不同的运行中是不同的。相比之下，切片的Wasserstein解算器速度较慢，但产生一致的结果。在我们的文章中，我们使用后者来证明可重复的结果，但是能够容忍结果可变性和价值速度的实践者可以更好地使用前者。

3.5 讨论

我们的技术可以被认为是两个组件的组合:几何扭曲(调整位置和法线以更好地匹配颜色)和颜色混合(操纵颜色以更好地解释几何对应)。

各组分对最终结果的影响由质量输运公式(式(3))中不同项的权重(wc,wp,wn)控制。

将位置和正常权重设置为零，即wp = wn = 0，将导致仅颜色转换。

如图4所示，当这些权重设置为高值时，例如，wp = wn = 50和wc = 1，几何扭曲就会起作用，输出看起来像参考主题的扭曲版本。

虽然我们的基于随机采样的正则化在避免伪影方面起着至关重要的作用，但在高几何权重时，它会产生噪声结果，因为传输开始接近逐像素翘曲。

我们发现wc = wp = wn = 1的结果是组成部分之间的良好平衡，产生了最好的结果。