[LRFR] (双分支CNN) LRFR Using a Two-Branch Deep Convolutional Neural Network Architecture

一、方法概览&模型优化

1. 使用方法对比：
   前人： (CLPMs、MDS、NMCF、DSR)
   本文： 2个不同的卷积神经网络FECNN与SRFECNN
2. 模型优化：
   1)调参
   2)选择合适的 分类模型
   3)人脸检测后，对图像数据进行预处理，（角度不好的头像进行旋转变换，以及重构填充）
   4)选择合适的人脸检测方法。
   5)对两个CNN进行优化

二、INTRODUCTION

1. 为何低分辨率人脸识别这一问题研究少之又少
   在过去的几十年中，人脸识别在众多应用领域都以超强的鲁棒性在较差条件(如曝光、年龄变化等)下表现优秀，然而如今的人脸识别研究大部分都聚焦于高清人脸在相关条件限制下的识别，只有少部分研究针对现实场景中的应用，这其实也反应了如今的ai领域功利性较强，只想着paper的发表而不去具体落地，在这种背景之下，对于低分辨率人脸识别这一问题研究少之又少。
2. 提出的方法
   因此，本篇paper提出了一种使用高分辨率人脸库解决低分辨率人脸识别的方案，基本思路为使用两个不同的深度卷积神经网络CNN(deep convolutional neural network)，使人脸库中的高分辨率人脸图像(HR gallary images)与待检测低分辨率人脸图像(LR probe images)映射到共同空间(common space)，使两者距离接近，并且这篇paper还能对低分辨率图像进行重构(reconstructs)生成高分辨率图像。

三、实验对比

最后paper里通过实验，与当时最为先进(state-of-the-art)的低分辨率人脸识别技术(CLPMs、MDS、NMCF、DSR)进行效果对比，验证了此方案较为优越。

注意这里的probe images里的probe翻译为"探针"， 意思可理解为待检测图像， 而gallary
images里的gallary翻译为"画廊"， 可理解为人脸库中样本图像。

四、PREVIOUS WORKS

在文章中，作者简单介绍了三种现今低分辨率人脸识别的方案，具体如图所示：

1. 下采样不合理
   .将人脸库中训练数据下采样(down sampling)到低分辨率人脸图片，提取特征训练分类器，在将待检测人脸(probe face)特征传入分类器进行识别比对，这一做法也最为不合理，由于丢失较多肉联信息。

2. 超分辨率重建 更关注图像质量而非性能
   .提取高分辨率人脸特征训练分类器，对低分辨率待检测图像(LR probe images)进行超分辨率重建，生成高分辨率图像(HR images)，然后提取特征传入分类器进行人脸识别，而这一方法却只关注生成人脸图像的质量而非人脸识别的性能 [10]-[13]

3. 本文方法，使用FECNN与SRFECNN 将低，高分辨率图像映射到同一空间 ，使用SVC，KNN（近邻）等分类模型进行人脸识别
   .将低分辨率人脸图像与高分辨率人脸图像转换到一个共同空间，使两者距离接近，即[14]-[17]采取的方式
   .本文即采取了第三种形式，分别使用了两种名为FECNN与SRFECNN的深度卷积神经网络(deep convolutional neural network)将高分辨率图像与低分辨率图像转换至共同空间，然后使用如SVC、KNN等分类模型进行人脸识别(face identification)
   
   五、PROPOSED METHOD

本文提出了一种非线性转换模型(nonlinear transformation model) 将高分辨率图像与低分辨率图像转换至共同空间，具体思想为使用两个深度卷积神经网络（FECNN与SRFECNN 双分支CNN）提取待检测图像(probe images)与人脸库图像(gallary images)特征，生成1*4096维向量，使其处于同一共同空间，并且文章中提出采用梯度优化方法来更新DCNN的权重(weights)以此减小两者在共同空间的距离。

1. 双三次插值(Bicubic Interpolation):
双三次插值是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。


2. 算法结构

文章采用 VGGnet 作为backbone，但由于VGGnet中 最后使用全连接层(fc layers)进行分类任务，而人脸识别应是特征提取+分类（FECNN） 才具有较强的灵活性，因此作者去掉VGGnet最后的two fully connected layers，然后取名叫feature extraction convolutional neural network(特征提取卷积神经网络FECNN)

算法分为上下两个分支网络(branch network)，
上层网络输入为标准的224×224图像，而高分辨率人脸图像无论size多大，都需经过 双三次(bicubic)插值算法 进行resize为224×224维图像传入FECNN 中，
而下层网络输入同样为经过双三次插值后得到的224×224维图像，而不一样的是低分辨率图像维度为N×N，高分辨率图像维度为M×M，始终N<M，而上下两个网络输出均为1×4096的特征向量，稍有不同的是，下分支网络多了一个SRnet，其作用为将传入的图片进行超分辨率重建，以更好的为后续识别工作提供更多的信息，然后将SRnet的输出作为FECNN的输入，连接起来就变成了下分支网络SRFECNN，具体的网络架构如下：

文章中将具体的训练步骤分为以下三步：

1. 在训练阶段，首先将训练集中配对的高分辨率图像与低分辨率图像 (由高分辨率图像下采样得到) 传入FECNN进行训练，得到特征提取模型，然后将该模型进行复制以供上下分支使用
2. 在第二步，将训练数据集进行resize到小尺寸图像并进行 双三次(bicubic)插值 得到配对的高低分辨率图像训练集，传入SRnet进行训练
3. 在最后一步中(也是最重要的一步)，作者将得到的FECNN与SRnet进行连接，固定上分支网络，对下分支网络(SRFECNN)进行fine-turn，对上下分支网络同时输入训练集，使SRFECNN提取得到特征在共同空间与FECNN距离接近