《On Low-Resolution Face Recognition in the Wild:Comparisons and New Techniques》低分辨率人脸识别论文解读

超分辨率技术 

目的：探索有约束和无约束 LR 人脸识别性能的差距

算法描述：

1、‘Original #1’ and ‘Original #2’ 依次表示为LR和HR图像。

2、将‘Original #1’下采样到21*15、16*12、11*8三个LR尺寸。

3、然后对其进行上采样到与输入尺寸相匹配的224*224。

超分辨率算法框架

PS：算法中采样的插值方法采用稀疏表示超分辨率（sparse representation super resolution ,ScSR);采用余弦距离作为度量标准。

结论：

1、没有下采样要比有下采样的结果更好。

2、性能上分辨率越高，结果越好。

虚拟和真实的低分辨率比较 

目的：探索合成的LR和真实环境的LR之间的差距

算法描述：在合成 LR 数据集和真实 LR 数据集之间匹配 HR 图像和使用双三次或 SRGAN 放大的 LR 图像，同样使用余弦距离作为度量标准。

结论：

1、虚拟 LR 的超分辨率方法始终比真实 LR 好得多。

2、应该使用真实的 LR 人脸图像，而不是通过简单地对 HR 人脸图像进行下采样获得的合成 LR 人脸图像。

低分辨率人脸识别 

目的：充分探索 HR 和 LR 域之间的内在联系。

算法描述：

1、学习一个共同的特征空间，该空间能够在同一主题中聚类 LR 和 HR 人脸。

2、尽管分辨率不同，但仍保持较低的类间相似度。

训练时为了稳定训练过程并减少模型在较小数据集上的过度拟合，添加了L2正则化。

 式中xi ：代表批次不同分辨率的人脸图像；cyi ：每个更新的类的中心。

低分辨率人脸重识别 

目的：利用四种具有基本 DNN 架构的最先进的人脸匹配方法，并使用完全卷积结构来增强它们，以减少对我们数据集的过度拟合。

算法描述：

1、采用空间金字塔池化（SPP）层，（学习判别特征、不同大小的LR人脸之间的映射）。

2、对比了Siamese network、match-net、six-channel net三个网络结构。

2.1、Siamese network：

（1）具有三个卷积层，然后是最大池和一个全连接层。

（2）我们用微型网络中的中等滤波器大小和通道数。

 2.2、match-net

它使用一系列全连接层作为子网来学习使用交叉熵进行二元分类的特征比较。

 它收敛得更慢，因为全连接层有更多的参数和更高的复杂度。

2.3、six-channel net

馈入网络的第一层。

 它在三者中收敛最慢，需要 L2 正则化以获得更好的性能。

全卷积结构和 SPP 池化 

1、全卷积网络

描述：全卷积 CNN (FCN) 是所有可学习层都是卷积的。 卷积层的参数比全连接层少，这可能会减少对小数据集的过度拟合，但会在特征中保留更多的空间信息。

2、SPP池化（稀释空间金字塔池化层）

用决策层之前的 SPP 层替换最后一个最大池化层。

a、有效避免了对图像区域剪裁、缩放操作导致的图像失真等问题。

b、解决了卷积神经网络对图像重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本。

 在上述三个网络中每个塔的末端应用 4 × 4 SPP 池。

DCGAN 

目的：使用 DCGAN 以获得预训练的鉴别器作为特征塔的初始化。

描述：DCGAN与GAN的原理是一样的，只是把D和G换成了两个卷积神经网络。但并不是直接替换，而是对卷积神经网络结构做了一些改变，来提高样本质量和收敛速度。

DCGAN和GAN的不同：

1、取消所有pooling层。G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。

2、在D和G中均使用batch normalization（批归范化）。

3、去掉FC（全连接）层，使网络变为全卷积网络。

4、G网络中使用ReLU作为激活函数，最后一层使用tanh。

5、D网络中使用LeakyReLU作为激活函数。

 

论文结论 

1、说明非约束LR和约束LR人脸识别之间的性能差距。
2、我们利用一种新颖的方法来处理多维由于人脸图像质量差异导致的不匹配问题。
3、在探针和画廊， 我们还设计了不同的深度网络解决人员重识别问题。
4、提出一种使用DCGAN预训练的新策略获得网络的学习可视化和改进更大规模数据集的结果。