2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)

Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)

 

做什么任务?

-人脸超分(general SR process as ”face/facial hallucination”)和人脸编辑(”face editing” to the task where new features are injected)

 

人脸编辑的传统做法/本文做法：

条件GAN通过修改预先定义的离散视觉特征来生成图像(没有看传统做法)/本文模型通过使用Multiple-exemplar可以动态生成具有任意人脸特征的HR人脸图像。

 

Motivation?

-不利用人脸先验(landmark,heat map)，而是依赖于图像内容的先验知识

（图像内容的先验知识指的是multiple-reference images/exemplars/guidance images/side-information）---好处?可以解决超分中ill-posed问题,不依赖特定的人脸先验，所以该模型可以适用于自然图像超分

 

为什么利用Multiple-exemplar而不是一个参考图像?

-Multiple exemplars work better than a single one

-This gives more flexibility, as it allows the network to pick the visual features that best fit the LR input image, in terms of facial expression, illumination or pose.

 

 

 

如何利用Multiple-exemplar?

-设计pixel-wise weight generation module/Weighted pixel average(PWAve)module.

PWAve目标是学习如何更好地组合exemplars的feature map(选择exemplar中有用的区域信息)。这样做的目的是让模型能够自由地学习更合适的组合方法，而不是常用的平均法[1](后边有消融实验图)。Intuition：exemplar可以描述不同的特征，例如人脸表情、角度、化妆等(这些特征出现在LR图像中)。

-对于图3的解释(多张参考图像如何送入Encoder,下边这段话没提[猜想concate或add]，只解释了encoder输出的feature map形状中的K指的是参考图像的个数)：

权重W的可视化图如下：

参考图像个数的消融实验：

 

PWA模型的消融实验：