Shadow Generation for Composite Image in Real-world Scenes

摘要

图像合成的目标是在背景图像上插入一个前景对象。以往的图像合成方法大多侧重于调整前景使其与背景兼容，而忽略了前景对背景的阴影效果。在这项工作中，我们专注于为合成图像中的前景对象生成合理的阴影。首先，我们通过基于成对的真实图像和去阴影图像生成合成合成图像来贡献真实世界的阴影生成数据集 DESOBA。然后，我们提出了一种新颖的阴影生成网络 SGRNet，它由阴影掩模预测阶段和阴影填充阶段组成。在荫罩预测阶段，前景和背景信息进行彻底的交互以生成前景荫罩。在阴影填充阶段，预测阴影参数以填充阴影区域。在我们的 DESOBA 数据集和真实合成图像上的大量实验证明了我们提出的方法的有效性。

引言

图像合成的目标是从一张图像中复制前景对象并将其粘贴到另一张背景图像上以生成合成图像。 近年来，图像合成越来越受到医学、教育和娱乐领域广泛应用的关注 [1, 46, 23]。 已经开发了一些深度学习方法 [20, 3, 30, 2] 来提高合成图像在颜色一致性、相对缩放、空间布局、遮挡和视点变换方面的真实感。 但是，上述方法主要侧重于调整前景，而忽略了插入前景对背景的影响，如阴影或反射。 在本文中，我们重点处理前景物体与背景之间的阴影不一致，即根据背景信息为前景物体生成阴影，使合成图像更加逼真。

为了完成这个图像到图像的转换任务，深度学习技术通常需要足够的成对训练数据，即没有前景阴影的合成图像和有前景阴影的目标图像。然而，在现实世界中获得这样的配对数据是极其困难的。因此，之前的作品 [46, 23] 将虚拟对象插入 3D 场景并使用渲染技术为该对象生成阴影。这样，可以构建成对数据的渲染数据集，但它有两个明显的缺点。首先，物体/场景的数量非常有限（例如，[23] 只有 11 个前景物体）并且背景场景非常简单。其次ÿ