《face as a lighting probe via Unsupervised Deep highlight extraction——通过无监督深度高光提取面对照明探测器》论文笔记

最新推荐文章于 2024-08-19 10:32:50 发布

CCCML

最新推荐文章于 2024-08-19 10:32:50 发布

阅读量810

点赞数 1

分类专栏：图形学论文文章标签：神经网络非监督学习人脸识别人脸光照估计

本文链接：https://blog.csdn.net/cccml/article/details/84478021

版权

本文介绍了一种利用深度神经网络无监督地从人脸图像中提取高光，并通过追踪反射恢复环境地图的技术。通过预训练和无监督微调网络，即使在真实照片数据有限的情况下，也能实现精确的光照估计。利用人脸的低秩矩阵特性改进了网络性能，最终实现了对多人脸的环境地图三角定位，以恢复3D光源位置。

摘要由CSDN通过智能技术生成

Abstract摘要

创新点在于下面这句:

our technique estimates illumination at a higher precision in the form of a non-parametric environment map

原因及方法在下面这句：

Based on the observation that faces can exhibit strong highlight reﬂections from a broad range of lighting directions, we propose a deep neural network for extracting highlights from faces, and then trace these reﬂections back to the scene to acquire the environment map.

总的来说就是用神经网络来提取面部高光部分，再通过追踪到场景的反射部分来得到environment map。由于真实训练数据很少，所以采用无监督学习来微调网络。为了减少皮肤的漫反射效果，用了一个基于脸部材质先验的反卷积方法。

Introduction
基于单幅图片的光照估计具有挑战性是因为图片效果和光照、反射、几何都有关系。一般方法都是假定反射和几何已知，但无实际可操作性。现在存在对人脸的先验方法，也就是合理的假设人脸的几何和反射，提到了一篇《A signal-processing framework for inverse rendering 》——基于漫反射的人脸光照估计，只估计了环境光的低频部分，漫反射率作为一个低通滤波器。传统的light probe是镜面球（mirrored sphere），因为它在每个法线方向上都有很清晰的镜面反射，各种频率的光线都可以被追踪来得到一个environment map。人脸与镜面球的相同点在于：有较好的的镜面反射（皮肤油性），而且脸部有很多方向的法线，现在也存在很多办法可以恢复脸部几何。不同点在于：人脸会有漫反射。（mirrored sphere——perfectly sharp specular reflections，face——fairly sharp specular reflections（highlights）mixed with diffuse reflection）。
文章具体方法