基于深度学习的图像重照明实践学习笔记_4
项目论文解析
项目核心论文是哪一篇?
Deep Relighting Networks for Image Light Source Manipulation
项目相关论文是哪一篇?
- Encoder-decoder latent space manipulation (A. Dherse, M. Everaert, and J. Gwizdala): [Paper] - [Code]
- Norm-Relighting-U-Net (M. Afifi and M. Brown): [Code]
- (ECCVW2020)Deep relighting networks for image light source manipulation (L.Wang, Z. Liu, C. Li, W. Siu, D. Lun): [Paper] - [Code]
- (ECCVW2020) An ensemble neural network for scene relighting with light classification (Dong, L., Jiang, Z., Li, C.)
- (ECCVW2020) SA-AE for any-to-any relighting (Hu, Z., Huang, X., Li, Y., Wang, Q.)
项目前沿进展有哪些?
- Deferred Neural Lighting: Free-viewpoint Relighting from Unstructured Photographs
- A Neural Rendering Framework for Free-Viewpoint Relighting
- AIM2020: Scene Relighting and Illumination Estimation Challenge (ECCVW 2020)
核心论文的模型结构是怎么样的?
将输入图片分别放进全景提取网络(Scene Recon)和阴影提取网络(Shadow Prior Estimation)通过卷积层提取特征值后采用反卷积操作恢复出期望图片。根据判别器输出结果每个网络选取最优图片进行组合。最后将不同卷积核处理后的图片通过校验器(Recalibration)后得到目标图片。
其他论文的模型结构是怎么样的?
-
A Neural Rendering Framework for Free-Viewpoint Relighting
首先将图片进行照明的初始化,建立图像到全景图的映射,用图像像素填充环境图。取映射到环境地图中相同位置的图像像素的中值以减少重影现象。然后将环境图投影到球状谐波基上,得到球状谐波系数的初始值。
同时,神经纹理提供3D场景潜在属性编码。其将神经纹理的前三个通道作为漫反射通道,后三个通道作为镜面反射通道。对于其余的通道,网络中并没有加以另外的限制从而编码潜在属性。
之后通过光传输网络(LTN)来预测每个像素在采样光方向上的光传输。 -
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool (CVPR 2020)
将三维图片转化为二维图片,转化后的图片经过Splatting Processing Network,原点集经过Neural Voxel Renderer后的输出与前者的输出相结合,之后再通过Nerual Rerendering Network后得到目标图片。 -
Learning Implicit Surface Light Fields (arXiv 2020)
将输入图片经过编码器降维后输入到特征向量,将几何数据同样经过几何数据编码器降维,与上面的特征向量相结合,一起通过外观合成网络,之后再通过重照明网络,最终得到目标输出。