图像合成——《Semi-parametric Image Synthesis》阅读笔记

1. 根据大致的草图框架（语义布局法），深度神经网络现在可以直接合成真实效果的图片。
2. 参数模型（parametric models）的优点是具有高度的表现力，可进行端到端的训练。非参数模型（Non-parametric models）的优点是可以在测试时提取大型的真实图片数据集里的素材。
3. 集结这两种方法的优势，提出了SIMS（半参数模型）
4. SIMS工作思路：
   （1）先用大型真实图像数据集先训练非参数模型，相当于获得了一个合成素材库；
   （2）然后基于语义布局（Semantic layout），把这些素材填充进去，就像一张图被分割成好几个版块之后，再往上打补丁充实细节。接缝的地方，深度网络会自行融合，并计算好版块之间物体的空间关系，进一步加强视觉的真实效果。

reference