更逼真的抠图技术！Realistic Lighting on Different Backgrounds

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

昨天分享了一个给人脸抠图，重新打光的视频，让最终的效果更加逼真。

具体链接：

给背景替换加“亿”点真实感，保留真实感的光照效果 | siggraph 2021

你有没有想过改变一张照片的背景，但它看起来很逼真？如果你已经试过了，你就会知道这并不简单。你不能只是在家里给自己拍张照片，然后把背景换成海滩。只是看起来很糟糕，不现实。任何人都会在一秒钟内说“那是Photoshop”。对于电影和专业视频，你需要完美的灯光和艺术家来重现高质量的图像，这是非常昂贵的。用你自己的照片是不可能做到的。

不理想的背景替换案例‍

这就是 Google Research 试图通过这篇名为 Total Relighting 的新论文实现的目标。目标是根据你添加的新背景的照明正确地重新照亮任何肖像。此任务称为“肖像重照明和背景替换”，顾名思义，它有两个非常复杂的子任务：

1. 背景替换，这意味着你将需要准确地删除当前图像的背景，只有你的肖像。

2. 肖像重新照明，你将调整你的肖像在新背景的场景照明的基础上。

模型的整体架构

正如你所料，这两项任务都是非常具有挑战性的，因为算法需要理解图像以正确地将你从中移除，然后理解另一幅图像以改变肖像的照明以使其适合新场景。这篇论文给人印象最深刻的一点是，这两项任务都是在没有任何先验知识的情况下完成的。这意味着他们不需要任何其他信息，除了两张图片：你的肖像和新的背景，以创建这个新的现实形象。让我们回到他们是如何详细攻击这两项任务的：

一、Human Matting

去除肖像背景的第一个任务称为 image matting ，或者在本例中称为 human matting，在这里我们要准确地识别图片中的人。“精确”的部分使它变得复杂，因为有许多细微的细节，比如人类的浮发。你不能不留头发就把脸剪掉。只是看起来不对。为了实现这一点，他们需要训练一个模型，这个模型可以首先找到人类，然后预测一个近似的结果，在这个结果中，我们可以确定哪些是人的一部分，哪些是背景的一部分，哪些是不确定的。

一只红狐（左）和它的 trimap（右）

这被称为trimap，它是使用一个经典的分割系统来实现的：在图像中分割人。然后使用编码器-解码器架构来优化这个trimap。它基本上把这个初始的 trimap，缩小成压缩的信息，然后用这个压缩的信息把它放大成一个更好的trimap。

第一个模型：Human Matting

这看起来很神奇，但它是有效的，因为将这个trimap转换成代码并将代码转换成更好的trimap的网络经过了数千个数据的训练，并学会了如何实现这一点。然后，他们使用这个第二个trimap再次将其细化为最终预测的人类形状，这被称为alpha蒙版。这一步还使用了神经网络。所以我们这里基本上有三个网络，一个是获取图像并生成trimap，另一个是获取图像和trimap以改进trimap，最后一个是将所有这些作为输入来生成最终的alpha蒙版。所有这些子步骤都是在训练过程中学习的，在训练过程中，我们展示了许多示例，说明我们希望通过网络协作来迭代地改进最终结果。

在这里，所有这些网络只组成了这个算法的第一步：human matting。本文的新功能是第二个真正的步骤，他们称之为重新relighting module。

二、Relighting Module

既然我们已经准确地预测了人物在图像中的位置，我们就需要让它看起来逼真。要做到这一点，人身上的灯光与背景匹配是非常重要的，因此他们需要重新照亮人或背景场景。在这里，大多数人都认同的想法，最简单的是对人进行 relight ，所以他们瞄准了这一点。这无疑是两人之间最复杂的任务，因为他们需要了解人体对光的反射。

第二个模型：Relighting Module

正如你在这里看到的，这里又有多个网络。几何网（ geometry net）、反照率网（albedo net）和着色网（shading net）。几何体网络使用上一步生成的输入前景来生成曲面法线。这是一个模型化的人的表面，使模型可以了解深度和光的相互作用。然后，该表面法线与相同的前景图像耦合并发送到反照率网中，该反照率网产生反照率图像。这个反照率图像只是我们感兴趣的物体反射光比例的一个量度，在这个例子中，这个物体是一个人，对来自不同光源的光作出反射。它告诉我们人的衣服和皮肤如何对它所接收到的光做出反应，帮助我们进行下一步。下一步的工作与新背景的光线有关。我们将试图了解新的背景光如何影响我们的肖像使用学习镜面反射和漫反射光表示我们的肖像在这里被称为 light maps。

light maps 如上所示

这些 light maps 是用你想要的背景的全景图计算出来的。正如名字所说，这些光照图基本上显示了光在许多情况下是如何与主体相互作用的。这些贴图允许我们根据背景光使皮肤和衣服看起来更亮或更无光泽。然后，这些光照图、反照率图像和前景被合并到最后一个和第三个网络中，即阴影网络。

The Shading Net in detail

该着色网络（shading net）首先使用反照率信息和我们之前计算的所有候选镜面反射光贴图生成最终版本的镜面反射光贴图。使用这个最终的light map、diffuse map（漫反射 map）和反照率，我们最终可以渲染出最终的 relit 人，准备插入我们的新背景。

正如你所看到的，所有的网络看起来都是一样的，完全像这样，这被称为U-Net，或编码器-解码器架构。就像我已经说过的，它接受一个输入，将其压缩成表示这个输入的代码，并将其放大成一个新的图像。这些 “编码器-解码器” 只是把一个图像放到网络的第一部分，这是一个编码器，它将图像转换成压缩信息，称为潜在编码，你可以在右边看到。这些信息基本上包含了根据我们想要的样式重建图像的相关信息。利用他们在训练中学到的知识，解码器使用这些信息执行相反的步骤，以生成具有这种新样式的新图像。这种样式可以是一种新的照明方向，但也可以是一种完全不同的图像，如曲面贴图甚至alpha蒙版，就像我们的第一步一样。

GAN training and latent space representation.

这种技术非常强大，主要是因为他们进行了训练。在这里，他们使用58个相机，多个灯光和70个不同的个人做各种姿势和表情。但是别担心，这只需要训练算法。在推理时唯一需要的是你的照片和你的新背景。另外，你可能还记得我提到了全景视图是需要产生这个重新照明的图像，但它也可以精确地近似到另一个神经网络，基于的只是背景图片，你希望你的肖像被转换。

就这样！把这两种技术结合在一起就可以了，所以你只需要给算法两张图片，它就会为你做所有的事情，用不同的背景产生一个真实的你自己的肖像增加真实的光照！Pandey等人的这篇论文将其应用于人类，但你可以想象它在物体上有多有用，你只需拍摄物体的照片，并将它们放在一个新的场景中，使用正确的灯光，使它们看起来真实。

开源项目地址：

https://github.com/augmentedperception/total_relighting

好的，今天的分享就到这里，如果喜欢记得关注我，给我一个三连，感谢

个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称



下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！

下载3 CVPR2021


在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文

点亮 ，告诉大家你也在看