EMLight: Lighting Estimation via Spherical Distribution Approximation AAAI 2021 光场估计 论文详解

领域：Light Estimation

论文地址：

[2012.11116] EMLight: Lighting Estimation via Spherical Distribution Approximation (arxiv.org)

代码地址

GitHub - fnzhan/Illumination-Estimation: EMLight: Lighting Estimation via Spherical Distribution Approximation (AAAI 2021)

南洋理工和北邮电共同发表的

代码开源，数据集依然是Laval Indoor HDR数据集。所以数据集不开源，预训练模型因为数据集不开源，所以作者也未提供。相当于是对Deep Parametric Indoor Light Estimation的一个改进。

目录

摘要

EMlight框架

光被分解为

SML：spherical mover’s loss,即球体表面的Loss

贡献点

基于GAN的生成

方法

regression network

Neural Projector

最终效果

评价

---

​​​​​​​

摘要

从单一图像中估算光照度在三维渲染中至关重要，它在计算机视觉和计算机图形研究界已经得到了广泛的研究。另一方面，现有的工作是通过回归光线参数或生成照度图来估计照度，而这些照度图往往难以优化或容易产生不准确的预测。我们提出了Earth Mover Light（EMLight），一个利用回归网络和神经投影仪进行精确光照估计的光照估计框架。我们将照度图分解为球形光分布、光强度和环境项，并将照度估计定义为三个照度组成部分的参数回归任务。在地球移动距离的启发下，我们设计了一种新型的球形移动损耗，通过利用球形分布的微妙之处，指导人们准确地回归光分布参数。在预测的球面分布、光强和环境项的指导下，神经投影仪合成了具有真实光频的全景照度图。广泛的实验表明，EMLight实现了精确的照度估计，与最先进的方法相比，在三维物体嵌入中生成的重新照明表现出卓越的可信度和保真度。

EMlight框架

两个重要结构

• Regression Network，预测光照参数
• Neural Projector，根据光照参数预测光照，并合成具有真实信息的照度图。

光被分解为

• 球形光分布
• 光强
• 环境项、

SML：spherical mover’s loss,即球体表面的Loss

即球面上两个最大的光源的弧度loss作为loss。

此篇文章与Deep Parametric Indoor Lighting Estimation非常接近。动机也一致，即HDR的全景光场需要360度的采样，麻烦且不易得，如何通过更简单的方式模拟光场。

贡献点

基于球形来估计物体表面的光照。

提出SML，即球形表面loss，针对性的用于网络收敛

通过对抗训练，生成全景照度图。（这里提到了adversarial training）这里还没仔细看，貌似是用GAN的方法，把估算出的光场参数，生成全景光场。

基于GAN的生成

本文的related work之中提到了一些生成环境光场的方法。

有一种基于GAN的方法，可以不需要显式的表达估计出光场，而是直接用对抗的方法生成阴影

两篇基于GAN的：

Liu, D.; Long, C.; Zhang, H.; Yu, H.; Dong, X.; and Xiao, C. 2020. ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes. In CVPR 2020.

Zhan, F.; Lu, S.; Zhang, C.; Ma, F.; and Xie, X. 2020a. Adversarial Image Composition with Auxiliary Illumination. In Proceedings of the Asian Conference on Computer Vision.

方法

regression network

根据输入图片，预测输出三个，光照分布，光强，环境项。

光强和环境项可以直接用L2 loss来获得。分布需要通过球面进行拟合。

关于球面loss，这里不做详述，有两个优势，

多个点之间可以避免L2 loss的单点对单点的loss

更加拟合球面

Neural Projector

这个Neural Projector没看到太仔细，大概是通过对抗生成网络，生成全景光照。

其实未必需要全景的光照，如果光照到上一步，估算出球面的光场，已经足够了，没必要进一步用GAN生成全景HDR光场，相当于把问题复杂化。

最终效果

评价

本文依然用了参数化的光场，模拟实际的光场。但是这里作者的参数化，是将光场映射到球面上。已经估算出实际的球面光场了，其实可以直接渲染。