陶将的博客

在通向算法工程师的道路上努力前行的小斗士

人脸识别之AM-Softmax

论文:Additive Margin Softmax for Face Verification

在此篇论文中,作者提出了新的损失函数,AM_softmax。嗯,我们可以把AM-softmax看做是对A-softmax损失函数的改进,两者是很相似的,我刚写过A-softmax的博客,详情请点击这里。两者最大的不同之处在于:A-softmax是用margin m与相乘,而AM-softmax的margin则是,一个是角度距离(angular margin),一个是余弦距离(cosine margine)。当用传统的softmax作为损失函数的时候,角度距离和余弦距离是等价的,即:,但是当试着去推动边界的时候,余弦距离和角度距离就不再等价了。

回顾一下A-softmax损失函数,公式表示如下:


其中,,m通常是一个大于1的整数,是一个表示推动分类边界难度的超参数。相比较而言,AM-softmax定义更加简单和直观,。为了提高收敛速度,作者又引进一个超参数s,所以AM-softmax的最终形式为:



作者对additive margin做了一个直观的分析,用了一个二维特征作为例子,如图1所示,对一个具有二维的特征,正则化后,特征被表示在一个圆中,传统softmax的决策边界即是向量,那么;而AM-softmax是以决策区域替代决策边界,对于类别1的边界为向量,定义, 那么。更进一步假设所有的类别都具有相同的方差,是类别2的边界向量,那么,所以


图1:传统softmax的决策边界和AM-softmax的决策边界

作者还提出,特征是否正则化处理还取决于图片的质量,高质量的图片提取出来的特征范数比较大,低质量的图片提取出来的特征范数小,那么特征正则化(feature normalization)后,在后向传播的时候,低质量的图片特征会产生更大的梯度,也会获得网络更多的注意力,如下图所示,因此,对于低质量图片的数据集,特征正则化是最适合的。也因此设置s=30。





阅读更多
个人分类: 人脸识别
想对作者说点什么? 我来说一句

matlab人脸识别

2009年02月07日 3KB 下载

人脸识别 技术

2018年02月24日 15.99MB 下载

安防网人脸识别的相关资料

2010年01月31日 388KB 下载

人脸识别源码

2017年10月18日 1.8MB 下载

模式识别---人脸识别

2009年06月24日 127KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭