人脸识别：PairLoss

本次介绍的人脸识别方法，其核心贡献就是如何加快相似度的学习速度，这里所谓的相似度和一般意义上的Triplet Loss很像，即：相同身份的人脸距离较近，不同身份的人脸距离较远。方法来源于：
《arxiv：Learning a Metric Embedding for Face Recognition using the Multibatch Method》

Introduction

很多人脸识别模型都是一种Metric或者Embeding模型，即相同身份的人脸距离较近，不同身份的人脸距离较远。这样有一个好处就是，模型除了用来做recognition之外还可以很方便的拿来做face verification或者face clustering.

基于深度神经网络的Embeding方法有很多，其不同之处可以归到3个方面：
（1）Loss Function

有的是直接比较两个目标相同还是不相同， 即 \(L[x_i, x_j]\);
有的使用的是最近很流行的Triplet Loss， 即\(L[x_{pos},x_{pos},x_{neg}]\)

（2）Network Architecture

网络的构建一直都很灵活，有得网络还需要对图片进行对齐等预处理。

（3）Classification Layer
有得直接训练一个端到端的Embedding网络；
有得是先按照普通的分类问题训练，然后再提取中间层特征再去train一个Embedding网络；

以著名的Google的FaceNet为例，在只挖掘hard三元组的情况下，多机训练了超过1个月。
因此，本文的目标就是降低训练时间

Learn a Metric

整个网络学习一个从输入\(x\)到输出\(f_w(x)\in\mathbb{R}^d\)的一个映射，学习规则如下:

\(y=y’ \Longrightarrow |f_w(x)-f_w(x’)|^2 < \theta-1\)

\(y\neq y’ \Longrightarrow |f_w(x)-f_w(x’)|^2 > \theta+1\)

现在，我们先据此定义one pair的Loss,其中训练集定义为：\({(x_i,y_i)_{i=1}^m},y_i为标签\)

\(l(w,\theta;x_i,x_j,y_{ij})=(1-y_{ij}(\theta-|f_w(x)-f_w(x’)|^2))_+\)

其中，\(y_{ij}\in{\pm1}\),+1表示\(x_i和x_j\)属于同一身份，另外\((u)_+:=max(u,0)\)。
则整体的Loss为：

\(L(w,\theta)=\frac{1}{m^2-m} \sum_{i\neq j\in [m]}l(w,\theta;x_i,x_j,y_{ij})\)

另一方面，文章从理论和实验上证明了上面的Loss比hinge-loss或者softmax-loss等多分类Loss要更难收敛。
所以，Google的Facenet中有很大一部分工作就是在如何选择和设计Triplet三元组，因此本文后面就参考该思想设计了新的训练方法。

The Multi-Batch Estimator

这一部分在原文中占比挺多，可惜感觉完全在水，总之实现的方法就是：
假如batch_size=K，那么两两配对的话总共会有\(K\times(K-1)\)种可能。（不过实际程序实现的时候，应该只有\(\frac{K\times(K-1)}{2}\),因为\((x_i,x_j)\)或者\((x_j,x_i)\)在BP时是一样的）。

于是，我们实际每一个batch中都进行类似遍历，最后将所有pair的loss加和即为一个batch的Loss。

原文中作者的实验参数配置如下：batch_size=256,共16个人每人16张图片; 训练图片2.6M; 模型大小为1.3M; 输入图像为112x112的RGB图像，编码长度128Bit; 学习率固定0.01，最后一个epoch降为0.001。

备注：

(1)：训练图片来自互联网收集，其中有一定错误，采集办法来自于《Deep Face Recognition》,也是一篇很有启发性的方法。

(2)：文中给出了详细的网络结构，该结构参考了NIN结构；

(3)：输入图片需要先进行对齐，作者对齐时也采用了深度网络。

caffe 实现

我在caffe中实现了该层，命名为PairLoss.

#include <vector>

#include "caffe/layers/pair_loss_layer.hpp"
#include "caffe/util/math_functions.hpp"

namespace caffe {

template <typename Dtype>
void PairLossLayer<Dtype>::Reshape(
  const vector<Blob<Dtype>*>& bottom, const