Face Hallucination with Tiny Unaligned Images by Transformative Discriminative Neural Networks

题目：基于变换判别神经网络的微小未对齐图像人脸幻觉

1、引言

主要思想
传统的人脸幻觉方法在很大程度上依赖于低分辨率(LR)人脸的精确对齐，然后才能对其进行上采样。对于较大的提升因子，未对齐通常会导致结果不佳和不自然的伪影。由于不同的姿势和不同的面部表情，对于LR输入图像，特别是当它很小的时候，是非常困难的。为了克服这一挑战，我们提出了一种端到端的变换式判别神经网络(TDN)，用于超分辨率未对齐和极小的人脸图像，其最大升阶因子为8。我们的方法采用了一个上采样网络，在该网络中嵌入空间变换层，以允许局部感受野与相似的空间支持对齐。此外，我们通过一个连续的判别网络将特定类别的损失加入到我们的目标中，以提高具有语义信息的比对和上采样性能。在大规模人脸数据集上的大量实验表明，该方法的性能明显优于目前最先进的方法。
针对未对准且非常小的人脸图像
本文贡献
1、针对极低分辨率(16×16像素)人脸图像，提出了一种新的端到端变换判别网络(TDN)。基于像素的外观相似性和基于类别的判别信息的融合允许超分辨率过程充分利用针对类别的线索进行对齐和细节增强任务。
2、对于基于关键点的方法固有失败的微小输入图像，我们的方法是第一个在不需要事先精确对齐的情况下对未对齐的LR人脸图像产生幻觉的解决方案，这使得我们的方法变得实用。

背景：传统的面部幻觉方法在很大程度上依赖于低分辨率（LR）面部的精确对齐，然后再将其向上采样。对齐错误通常会导致结果不足，并且会因较大的放大系数而导致出现不自然的伪影。
方法：一种端到端的变换判别神经网络（TDN），采用了一个上采样网络，其中嵌入了空间转换层，以允许局部接收场与相似的空间支持对齐。通过连续的判别网络将特定类别的损失纳入目标，以提高语义信息的对齐和上采样性能。
结论：在大规模人脸数据集上的大量实验表明，该方法的性能明显优于目前最先进的方法。

2、网络结构

我们的变换式判别神经网络由两部分组成：一个由空间变换网络层和反卷积层组成的上采样网络，以及一个判别网络。同时实现了图像对齐和超分辨率。整个处理流水线如图1所示。

图1 TDN网络结构，由两部分组成：上采样网络(在红框中)和判别网络(在蓝框中)。其中上采样网络中的空间变换网络层被表示为图中的绿色方框。这些层包括三个模块：定位模块、网格生成器模块和采样器。判别网络用来判别生成的图像是否属于正直的真实人脸图像。我们采用二元交叉作为损失函数。我们通过反向传播判别误差来修正上采样网络的系数，使反卷积层学习到的人脸部分与真实人脸部分一样锐利和真实。

3、实验结果

图2：不同配置的TDN图示。 （a）未对齐的16×16LR图像。 （b）原始128×128HR图像。（c）双三次插值。 （d）SRCNN的结果（Dong，Loy和He 2016）经过面部补丁再训练。 （e）没有区分网络的TDN结果。 （f）TDN的结果，其中STN直接应用于LR图像。 （g）我们的完整TDN。

定量评估

图3：与最新方法进行比较。（a）LR输入。（b）原始的HR图像。（c）双三次插值。（d）Yang等人的方法。（e）Dong，Loy和He的方法（SRCNN）。（f）Liu，Shum和Freeman的方法。（g）Yang，Liu和Yang的方法。（h）马，张和齐的方法。（i）我们的方法。

结论我们提出了一种变换式判别网络，以超分辨未对齐的超低分辨率人脸图像端到端的方式。我们的网络学习如何使用特定于类别的信息来对齐人脸以及如何对人脸进行升采样。它在展现丰富而真实的面部细节的同时，具有显着的8倍升采样系数。由于我们的方法不需要面部姿势和面部表情的任何反馈，因此非常实用。