ArcFace loss与其他改进loss对比

最新推荐文章于 2024-04-26 16:51:33 发布

mumuxi_c

最新推荐文章于 2024-04-26 16:51:33 发布

阅读量765

点赞数

分类专栏：深度学习小记文章标签：深度学习

本文链接：https://blog.csdn.net/ganbelieve/article/details/131481475

版权

4 篇文章 0 订阅

订阅专栏

sphereFace --  A-softmax  （cos(ma)）    角度距离
cosFace --  AM-softmax    （cosa - m）   余弦距离
ArcFace --  Arc-softmax   （cos(a + m)） 角度距离
注：a代表角度，m代表margin

sphereFace、cosFace、ArcFace中的loss均是在softmax的基础上修改得来

Name	Loss公式	权重/特征归一	论文
softmax	$\frac{1}{N}\sum_i-log\frac{e^{w_{y_i}·x_i}}{\sum_ke^{w_k·x_i}}$	N/N
NormFace	同softmax	Y/Y	arxiv ACMMM 2017
L softmax	$\frac{1}{N}\sum_i-log\frac{e^{\|\|w_{y_i}\|\|·\|\|x_i\|\|·cos(m·\theta_{y_i, i})}}{e^{\|\|w_{y_i}\|\|·\|\|x_i\|\|·cos(m·\theta_{y_i, i})} + \sum_{k \neq y_i}e^{\|\|w_k\|\|·\|\|x_i\|\|·cos\theta_{k, i}}}$ 首次提出angular margin	N/N	arxiv ICML 2016
A softmax	$\frac{1}{N}\sum_i-log\frac{e^{\|\|x_i\|\|·cos(m·\theta_{y_i, i})}}{e^{\|\|x_i\|\|·cos(m·\theta_{y_i, i})} + \sum_{k \neq y_i}e^{\|\|x_i\|\|·cos\theta_{k, i}}}$ 增加weight norm	Y/N	arxiv CVPR 2017
AM softmax	$\frac{1}{N}\sum_i-log\frac{e^{s·(cos(\theta_{y_i, i})-m)}}{e^{s·(cos(\theta_{y_i, i})-m)} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}}$ 增加feat norm和scale，margin由乘法变为加法	Y/Y	arxiv ICLRw 2018
CosFace	同AM-Softmax，和AM-Softmax接近同时发布	Y/Y	arxiv CVPR 2018
ArcFace	$\frac{1}{N}\sum_i-log\frac{e^{s·cos(\theta_{y_i, i}+m)}}{e^{s·cos(\theta_{y_i, i}+m)} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}}$ 类似AM softmax，将margin由cos外移到内	Y/Y	arxiv CVPR 2019
Adaptive Face	$\frac{1}{N}\sum_i-log\frac{e^{s·(cos(\theta_{y_i, i})-m_{y_i})}}{e^{s·(cos(\theta_{y_i, i})-m_{y_i})} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}} - \lambda\frac{1}{K}\sum_km_k$ 将margin参数化，与类别相关	Y/Y	pdf CVPR 2019