角度间隔损失函数

已于 2023-05-23 21:07:35 修改
阅读量786 收藏 5
点赞数 3
分类专栏： 医疗图像 文章标签： 机器学习 人工智能 深度学习
于 2023-05-08 19:46:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RandyHan/article/details/130560501
版权
文章探讨了SoftMax损失函数及其优化形式，如Large-MarginSoftmax、SphereFace和ArcFace。这些方法通过关注角度而不是欧几里得距离来改善分类性能，其中SphereFace和CosFace着重于固定间隔策略。ArcFace是角度margin的一种实现，旨在增加不同类别之间的区分度。
摘要由CSDN通过智能技术生成

度量损失：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

SoftMax

在这里插入图片描述

  • 根据softmax的函数公式进行变换，然后归一化到概率
    在这里插入图片描述
  • 解决上溢和下溢出问题（softmax函数自身性质问题），取一个log
    在这里插入图片描述
  • 用一个a做恒等变换，解决这个问题，带入softmax函数，值不变
    在这里插入图片描述
  • 决策边界是没有变的
    在这里插入图片描述
    在这里插入图片描述

转换成角度

  • 用向量的性质， x = ∣ ∣ x ∣ ∣ ∗ c o s ( θ ) x=||x|| *cos(\theta) x=∣∣x∣∣∗cos(θ)
    在这里插入图片描述
    在这里插入图片描述
    解决的核心问题：用欧几里得距离度量，不同类之间的距离可能小于同类之间的距离，用角度来度量可以缓解优化这个问题

Large-Margin Softmax Loss

在这里插入图片描述

  • 对cos角度进行改进，使得类别标签之间的角度更小（误差更小）
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

Modified Softmax

在这里插入图片描述

  • 把原来的softmax的权重赋值为1和偏差赋值为0
    在这里插入图片描述
  • 显然，规约到球面是一个好的选择
    在这里插入图片描述
    在这里插入图片描述

SphereFace Angular Softmax

在这里插入图片描述
在这里插入图片描述

SphereFace的损失函数：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

NormFace

background

在这里插入图片描述
在这里插入图片描述

  • 在特征提取中都没有归一化（训练过程中），但是在测试中都使用了归一化

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • feature的scale（缩放尺度）越大， P i ( s f ) P_i(sf) Pi​(sf)越大，softmax loss就越小

为什么会是特征会呈辐射状分布？

在这里插入图片描述

  • Softmax 交叉熵损失函数总是会鼓励已经被分类正确的特征得到更大的幅度。

在迭代过程中，特征的幅度会被越拉越大，这就是为什么 Softmax 交叉熵损失函数训练出的特征总是呈现出辐射状分布的原因

  • softmax前的内积层不可以添加偏置项

原理

在这里插入图片描述

  • 完全专注于角度，在放缩的时候加了一个 α \alpha α

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

CosFace /AM-softmax

  • 该方法间隔固定，不依赖于theta， sphereFace的间隔依赖于theta

在这里插入图片描述
在这里插入图片描述

  • AM-softmax
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

ArcFace

在这里插入图片描述
在这里插入图片描述

总结一下角度的损失函数

在这里插入图片描述
在这里插入图片描述

银晗
关注
专栏目录
深度学习 二分类 损失函数_深度学习常用损失函数
weixin_39868959的博客
11-23 564
船长黑板报所有文章和代码的最新版本均在Captain1986/CaptainBlackboard​github.com维护，知乎不做维护您的Star是对我的鼓励# 　　　　　　深度学习常用损失函数## 引言深度学习的任务本质上来说是拟合一个函数Fcnn，将输入的图片映射到对应的标签，这个映射的好坏需要用损失函数来表达，学习训练的过程也是由损失函数来指导。本文总结了一些在深度学习，更具体地说，实在卷...
损失函数
Deep Learning and NLP Farm
10-23 970
1. 机器学习中都有哪些损失函数 2, 这些损失函数的应用场景 比如：Ranking 经常用的最大间隔损失函数             分类一般以交叉熵作为损失函数 http://blog.csdn.net/heyongluoyao8/article/details/52462400 http://blog.csdn.net/google19890102/article/deta
【CVPR 2018】腾讯AI lab提出深度人脸识别中的大间隔余弦损失
05-09 553
论文导读】 深度卷积神经网络（DCNN）在人脸识别中已经取得了巨大的进展，通常的人脸识别的核心任务都包括人脸验证与人脸识别，涉及到特征判别。很多模型都是使用Softmax损失函数去监督模型的训练，但是现在已经有资料证明，Softmax loss缺乏足够的在分类任务上的判别力，所以取得的效果也不是最好的。针对这个问题，本文设计了一个新的损失函数，我们称之为大间隔余弦损失。 Figure 1 图 1：我们提出的 CosFace 框架。在训练阶段，带有大间隔（large margin）的具有判别性的面部
从损失函数的角度详解常见机器学习算法
学习AI算法，请关注微信公众号：机器学习算法全栈工程师……
10-18 3995
1. 机器学习中常见的损失函数  一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数，又称为代价函数(Cost Function)。损失函数是用来评价模型的预测值 Y^=f(X)\hat Y=f(X) 与真实值Y的不一致程度，它是一个非负实值函数。通常使用 L(
常见的损失函数
大太阳
09-15 889
1. 损失函数、代价函数、目标函数 损失函数（Loss Function）通常是针对单个训练样本而言，给定一个模型输出y^\hat{y}y^​和一个真实yyy，损失函数输出一个实值损失L=f(yi,yi^)L=f(y_i,\hat{y_i})L=f(yi​,yi​^​)。 代价函数（Cost Function）通常是针对整个训练集（或者是mini-batch Gradient Descent时一个mini-batch）的总损失J=Σi=1Nf(yi,yi^)J=\Sigma^N_{i=1}f(y_i,\h
深度学习人脸识别：改进型加性余弦间隔损失函数的应用
传统的余弦间隔损失函数已经在人脸识别中被广泛使用，它通过引入角度间隔来增强类间区分度。在此基础上，改进的加性余弦间隔损失函数进一步提高了分类的准确性，尤其是在面临大量负样本的情况下。 具体来说，该损失...
Python 机器学习 SVM算法的损失函数
最新发布
weixin_42098295的博客
03-13 1435
SVM的损失函数目的在找到能够最大化边界间隔的最优超平面。最常用的SVM损失函数是合页损失（Hinge Loss）函数，为了避免过拟合，通常在损失函数中加入正则化项，最常见的是L2正则化，其目的是限制模型权重的大小，从而增加模型的泛化能力。梯度下降是一种优化算法，用于最小化SVM的损失函数。通过计算损失函数对于每个参数的梯度，梯度下降算法可以知道如何调整参数以减少损失。在每次迭代中，它都会根据梯度的方向和大小，更新权重和偏置，以此逐步逼近最小损失对应的参数值。
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数
qq_44665283的博客
04-26 3229
支持向量机中点到超平面距离公式推导、SVM硬间隔、软间隔模型和损失函数推导及意义详解
新的损失函数SIoU：结合图片和详细代码分块深入理解原理
热门推荐
weixin_43980331的博客
08-04 1万+
SIoU进一步考虑了真实框和预测框之间的向量角度，重新定义相关损失函数，具体包含四个部分：角度损失(Angle cost)、距离损失(Distance cost)、形状损失(Shape cost)、IoU损失（IoU cost）。
【角度回归（1）】Eula 损失函数，使用sin联合SmoothL1， MultiBin 全局方向损失，L1/L2-norm 的周期损失函数
Hali_Botebie的博客
11-18 1614
Lloc定位损失试图最小化真实值与覆盖该值的所有 bin 之间的差异，这相当于最大化余弦距离.其中 nθ∗ 是覆盖真实角度 θ∗ 的 bin 数量，ci 是 bin i 中心的角度，Δθi 是需要应用于 bin i 中心的变化。smooth L1损失函数曲线如下图所示，作者这样设置的目的是想让loss对于离群点更加鲁棒，相比于L2损失函数，其对离群点（指的是距离中心较远的点）、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。给定固有的相机参数，特定像素的光线方向计算起来很简单。
SIoU Loss
Chenjiahui_LYee的博客
01-08 752
GIoU、DIoU、CIoU都没有考虑真实框与预测框之间的方向，导致收敛速度较慢，对此SIoU引入真实框和预测框之间的向量角度，重新定义相关损失函数。
使用tensorflow实现声纹识别
TomCruisePro的博客
02-14 3593
前言 本文介绍使用tensorflow实现简单的声纹识别模型，首先需要熟悉音频分类，没有了解的可以查看我上篇文章-基于tensorflow实现声音分类，基于这个基础上，我们训练一个声纹识别模型，通过这个模型我们可以识别说话者是谁，可应用在一些音频验证项目。 不同的是本项目使用了ArcFace loss,ArcFace loss：Additive Angular Margin Loss（加性角度间隔损失函数）,对特征向量和权重进行归一化，对θ加上角度间隔，角度间隔比余弦间隔在对角度的影响更加直接。 使用环境
深度学习系列10：人脸识别概述
kittyzc的博客
08-25 1万+
本文参考https://zhuanlan.zhihu.com/p/76513217 1. 基础 这是一篇review的文章。下图是基本流程： 1.1 数据集 公开数据集的变迁如下： 1.2 前处理 人脸处理的变迁如下： 1.3 网络架构 主架构的变迁如下图： 1.4 目标函数 通常，人脸识别可分为人脸识别和人脸验证。前者将一个人脸分类为一个特定的标识（identification），而后者确定一对图片是否属于同一人（Verification）。 闭集（open-set）是测试图像在训练集中可能出现过
Arcface v3 论文翻译与解读
神罗Noctis的博客
10-20 2227
论文地址：http://arxiv.org/pdf/1801.07698.pdf Arcface v3与Arcface v1的内容有较大不同。建议先阅读Arcface v1 的论文，再看v3。可以参考我之前写的Arcface v1 论文翻译与解读 ArcFace: Additive Angular Margin Loss for Deep Face Recognition 目录 Abs...
计算两张人脸对应关键点位置之间的l2距离_人脸识别合集 | 10 ArcFace解析
weixin_39969568的博客
12-10 910
ArcFace/InsightFace（弧度）是伦敦帝国理工学院邓建康等在2018.01发表，在SphereFace基础上改进了对特征向量归一化和加性角度间隔，提高了类间可分性同时加强类内紧度和类间差异，ArcFace: Additive Angular Margin Loss for Deep Face Recognition主要思想ArcFace loss：Additive Angular M...
手推SVM（三）-软间隔和损失函数的推导
多元思考力
12-08 5664
1.软间隔的提出 上一篇文章（手推SVM（二）-核方法 ）我们用核方法来解决线性不可分问题，但如果即使映射到高维空间中，仍然有部分点不能完美的区分开呢？ 如图，无论核函数怎么选取，都不能完美区分开数据，即使能完美的区分开数据，也会很容易导致过拟合的发生，这时候我们该怎么办呢？既然人在做某事的时候，能允许犯一点小错，那模型为什么就不能允许犯一点小错呢？这就是软间隔的想法，既然确实无法区分开，那我
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值