阅读笔记：Modeling surface appearance from a single photograph using self-augmented CNN

文献名

Xiao Li, Yue Dong, Pieter Peers,. Modeling surface appearance from a single photograph using self-augmented convolutional neural networks[J]. acm transactions on graphics, 2017, 36(4):45.

主要创新思想

为了减少所需的标记训练数据量，利用嵌入在未标记图像中的外观信息随空间变化的材料来自我增强训练过程。从初始的近似网络开始，从一小套标有标签的训练对中获得，估计标样训练示例之前的临时模型参数。鉴于此标本反射率估计，通过在新的照明条件下渲染精确的对应图像来合成临时标有标签的训练对。在使用这些额外的训练样本精炼网络之后，估计用于未标记数据的临时模型参数，并在收敛之前重复进行自我增强过程

主要原理剖析及说明

拟议的SVBRDF网络分离的网络结构；一个用于均一的参数（相对（对数）镜面反射率和（对数）粗糙度），另一个用于空间变化的参数（相对散度的反射率和表面法线）。
层数和卷积/上采样滤波器的大小类似于先前的工作。两个网络共享相同的分析子网络结构，该结构由一系列卷积层和池化层组成。每个卷积层通过分批归一化层进行连接，每个子层通过光子网络进行分析，并通过分析将其重新激活。
训练拟议的SVBRDF-net的主要挑战之一是获得足够大的训练数据集，以捕获目标材料类别的自然分布下降的空间变异。 本质上，由于反射特性的空间变化，自然采光条件的不同以及视点的差异，我们正在回归的搜索空间是外观变化的外部产物。另两个维度通常是相对不同的材料类别，并且相对容易地进行采样。另一方面，形成者高度依赖于材料类型并且理想地依赖于数据类型。

主要实验结果（现有原文章中的）

神经网络结构

训练结果：