资料准备
论文: A Discriminative Feature Learning Approach for Deep Face Recognition
github: Deep Face Recognition with Caffe Implementation
引言
-
传统的分类方法,只关注能够分类(Separable Feature),而忽视了特征的辨别(Discriminative Features),如图所示。
-
收集到所有特征拿来训练是不现实的,训练出来的模型要能分类出未在训练集中被标注过的类别
-
训练结果中会存在类内差距(intra-class)比类间差距(inter-class)还大的情况,如图所示。
算法介绍
softmax
Wx+b为上一层输出的多维向量,m为mini-batch值,n为类别数,计算后获得一组概率向量,分别代表每一个类的概率。
center loss
center loss的提出,被作为以上三点的一种解决方案。
为了最小化深层特征学习时的类内变化,同时又能分类不同的特征,提出center loss的公式:
其中,cyi表示第yi个类别的深层特征的中心,xi表示全连接层之前的特征,m是mini-bathch的大小,n为类别数。
Lc的梯度和cy的更新计算如下:
结合softmax和centerloss
单纯使用softmax,只注重分类,造成类内距离特别大。
单纯使用centerloss,则深层特征和特征中心则会衰减为0。
提出公式:
参数那么大(/(ㄒoㄒ)/~~)用来平衡两个损失函数。当那么大为零时,就是单纯的softmax
随着nameda的增大,类内距离越来越小。
网络结构
- 论文中提供的网络结构
- github提供的基于mnist网络的样例
缩略图
全图
参考文献