【笔记】A Discriminative Feature Learning Approach for Deep Face Recognition

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zahuopu__xu/article/details/78335792

资料准备

论文: A Discriminative Feature Learning Approach for Deep Face Recognition
github: Deep Face Recognition with Caffe Implementation

引言

  • 传统的分类方法,只关注能够分类(Separable Feature),而忽视了特征的辨别(Discriminative Features),如图所示。
    Separable and Discriminative

  • 收集到所有特征拿来训练是不现实的,训练出来的模型要能分类出未在训练集中被标注过的类别

  • 训练结果中会存在类内差距(intra-class)比类间差距(inter-class)还大的情况,如图所示。
    inter-class and intra-class

算法介绍

softmax

这里写图片描述
Wx+b为上一层输出的多维向量,m为mini-batch值,n为类别数,计算后获得一组概率向量,分别代表每一个类的概率。

center loss

center loss的提出,被作为以上三点的一种解决方案。
为了最小化深层特征学习时的类内变化,同时又能分类不同的特征,提出center loss的公式:
center loss function
其中,cyi表示第yi个类别的深层特征的中心,xi表示全连接层之前的特征,m是mini-bathch的大小,n为类别数。
Lc的梯度和cy的更新计算如下:
这里写图片描述

结合softmax和centerloss

单纯使用softmax,只注重分类,造成类内距离特别大。
单纯使用centerloss,则深层特征和特征中心则会衰减为0。
提出公式:
这里写图片描述
参数那么大(/(ㄒoㄒ)/~~)用来平衡两个损失函数。当那么大为零时,就是单纯的softmax
这里写图片描述
随着nameda的增大,类内距离越来越小。

网络结构

  • 论文中提供的网络结构
    这里写图片描述
  • github提供的基于mnist网络的样例
    缩略图
    缩略图
    这里写图片描述
    全图

参考文献

展开阅读全文

没有更多推荐了,返回首页