18.7.9 Dynamic Feature Learning for Partial Face Recognition 小感

最近读了一篇关于部分人脸识别的文章，来自于CVPR2018的。论文链接《Dynamic Feature Learning for Partial Face Recognition》。

部分人脸识别（Partial Face Recogntion）在很多的领域是个比较重要的工作。但是大部分的研究都不能实现一个任意尺寸的人脸图片的识别问题。本文主要采用全卷积网络(FCN)加上稀疏表示分类（SRC）的方法来实现部分人脸识别，称为动态特征匹配。值得一提的是本文还针对任意尺寸的人脸图片。再动态特征匹配的基础上，本文还提出了sliding loss，利用sliding loss来优化FCN（减小类内差）。

首先介绍一下，为什么需要部分人脸识别。主要有以下集中情况：
（1）人脸被物体遮挡，例如眼睛，帽子，面具或者围巾等等。
（2）人脸的姿态问题
（3）部分人脸在图片外，或者说是相机视野之外。

目前大部人的人脸识别方法都是基于深度的方法，这种方法带来的一个问题就是，所有的输入图片都需要固定的尺寸（例如在VGGFace中的输入图片大小为224×224）。为了解决输入图片的尺寸不对的问题，传统的方法则是直接re-scale，当然这种方法对结果肯定有很大的影响，所以为了解决这种问题，Multi-Scale Region-based Convolutional Neural Network（MR-CNN）可以用来解决尺寸的问题。这种方法旨在将人脸或者部分人脸分解成为几个子区域，然后利用CNN提取子区域的特征。这种方法在几个常见的部分人脸数据库上有着很不错的表现。但是带来了一个问题，这种方法的计算效率太低。所以为了提高效率，Sliding Window Matching（SWM）被提出来解决效率问题。虽然能提高计算的效率，但是总的来说效率还是太低。尽管MR-CNN和SWM都能解决部分人脸识别的问题，计算效率成为了计算部分人脸识别的一个主要的障碍。所以本文提出了一种动态特征匹配的方法，来高效地解决任意尺寸的人脸图片的部分人脸识别问题。

本文主要有三大贡献：
1. 提出了一种部分人脸识别的方法：Dynamic Feature Matching (DFM)，动态特征匹配。这种方法是将FCN和SRC进行结合。
2. 提出的DFM不仅能解决整张脸，也能解决任意尺寸的部分人脸识别问题。
3. 提出了Sliding Loss，使得最终学习道德特征更加具有判别性。

本文所用的方法的主要框架如图所示：

一、FCN，其网络结构如图所示

二、DFM
对于一张任意大小的Probe而言，通过FCN得到的空间特征p的尺寸为w×h×d。
对于Gallery，考虑到其得到的特征Gc会比较大，所以采用滑窗的方法，将Gc划分为多个子特征图，即Gc={gc1,gc2,…,gck}，其中滑窗的stride表示为s，每一个gci的大小为M=w×h×d。为了能够在使用face alignment的情况下进行特征匹配（加快计算效率），本文采用重构误差的方法，就是用Gc线性逼近p，其中Gc的系数表示为wc。重构的误差可以表示为：

当然仅仅考这个误差是不行的，因此作者提出了两个约束项：（1）稀疏约束：考虑到wc的稀疏性，所以Gc中只有部分被选用来重构误差，因为对wc进行L1-norm的约束。（2）相似引导约束：再划分的k个子特征图中，有部分可能与目标并没有太多的相似性，或者及其不相似，但是在重构误差的时候，加入这些极其不相似的特征图之后，最后的表现会比较好。但是这样做是不正确的，为了能够更有效的提高最后的准确率，在选用子特征图的时候，自动分辨出相似度很低的图片，剔除。拿如何计算相似度呢？作者认为将p和Gc利用L2-norm的方法进行归一化，即

那么最后的相似引导约束可以表示为

最终的可以表示为

为了能够在优化wc的时候更加方便，（2）的公式可以变为：

本文利用 feature-sign search的方法处理wc的优化，

三、sliding loss
sliding loss使用来学习系数wc和卷积的参数，最终可以定义为：

当p和Gc属于同一类的话，yc=1，反之为-1。
Sliding loss的伪代码为：

后面就是大部分的实验了，作者主要在Partial-LFW，Partial-YTF和CASIA-NIR-Distance三个部分人脸数据库上进行了实验，试验结果后面就不放出来了。