《face as a lighting probe via Unsupervised Deep highlight extraction——通过无监督深度高光提取面对照明探测器》论文笔记

Abstract摘要

创新点在于下面这句:

our technique estimates illumination at a higher precision in the form of a non-parametric environment map

原因及方法在下面这句：

Based on the observation that faces can exhibit strong highlight reflections from a broad range of lighting directions, we propose a deep neural network for extracting highlights from faces, and then trace these reflections back to the scene to acquire the environment map.

总的来说就是用神经网络来提取面部高光部分，再通过追踪到场景的反射部分来得到environment map。由于真实训练数据很少，所以采用无监督学习来微调网络。为了减少皮肤的漫反射效果，用了一个基于脸部材质先验的反卷积方法。

1. Introduction
   基于单幅图片的光照估计具有挑战性是因为图片效果和光照、反射、几何都有关系。一般方法都是假定反射和几何已知，但无实际可操作性。现在存在对人脸的先验方法，也就是合理的假设人脸的几何和反射，提到了一篇《A signal-processing framework for inverse rendering 》——基于漫反射的人脸光照估计，只估计了环境光的低频部分，漫反射率作为一个低通滤波器。传统的light probe是镜面球（mirrored sphere），因为它在每个法线方向上都有很清晰的镜面反射，各种频率的光线都可以被追踪来得到一个environment map。人脸与镜面球的相同点在于：有较好的的镜面反射（皮肤油性），而且脸部有很多方向的法线，现在也存在很多办法可以恢复脸部几何。不同点在于：人脸会有漫反射。（mirrored sphere——perfectly sharp specular reflections，face——fairly sharp specular reflections（highlights）mixed with diffuse reflection）。
   文章具体方法