度量学习（metric learning）损失函数

最新推荐文章于 2024-10-01 17:22:10 发布
最新推荐文章于 2024-10-01 17:22:10 发布
阅读量2.3w 收藏 71
点赞数 17
分类专栏： CV 文章标签： 度量学习 深度学习  metric learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cheneykl/article/details/80292794
版权

学习的对象通常是样本特征向量的距离，度量学习的目的是通过训练和学习，减小或限制同类样本之间的距离，同时增大不同类别样本之间的距离。


常用度量学习损失方法

（1）对比损失
用于训练Siamese（孪生）网络，，输入为两张图片，每一对训练图片都有一个标签y，y=1表示两张图片属于同一个人（正样本对），反之y=0，表示他们属于不同的行人（负样本对）

对比损失函数：

当输入为正样本对的时候，d(Ia,Ib)逐渐减小，相同ID的行人图片会持续在特征空间形成聚类。反之，当网络输入负样本对时，d(Ia,Ib)会逐渐变大，知道超过设定的alpha。通过最小化损失函数，最后可以使正样本对之间距离逐渐变小，负样本对之间距离逐渐变大，从而满足行人重识别任务的需要。

（2）三元组损失（Triplet loss）
三元组损失是一种被广泛应用的度量学习损失，之后的大量度量学习方法也是基于三元组损失演变而来。顾名思义，三元组损失需要三张输入图片。和对比损失不同，一个输入的三元组（Triplet）包括一对正样本对和一对负样本对。三张图片分别命名为固定图片(Anchor) a、正样本图片(Positive)p和负样本图片(Negative) n 。图片 a 和图片 p 为一对正样本对，图片 a 和图片 n 为一对负样本对。则三元组损失表示为：

如下图所示，三元组可以拉近正样本对之间的距离，推开负样本对之间的距离，最后使得相同ID的行人图片在特征空间里形成聚类，达到行人重识别的目的。


改进：原版的Triplet loss只考虑正负样本对之间的相对距离，而并没有考虑正样本对之间的绝对距离，为此提出改进三元组损失(Improved triplet loss)：

保证网络不仅能够在特征空间把正负样本推开，也能保证正样本对之间的距离很近。

（3）四元组损失(Quadruplet loss)


四元组损失是三元组损失的另一个改进版本。顾名思义，四元组(Quadruplet)需要四张输入图片，和三元组不同的是多了一张负样本图片。即四张图片为固定图片(Anchor) a ，正样本图片(Positive) p  ,负样本图片1(Negative1) n1 和负样本图片2(Negative2) n2 。其中 n1 和 n2 是两张不同行人ID的图片，其结构如上图所示。则四元组损失表示为：


其中α和β是手动设置的正常数，通常设置β小于α，前一项称为强推动，后一项称为弱推动。相比于三元组损失只考虑正负样本间的相对距离，四元组添加的第二项不共享ID，所以考虑的是正负样本间的绝对距离。因此，四元组损失通常能让模型学习到更好的表征。

（4）难样本采样三元组损失(Triplet loss with batch hard mining, TriHard loss)
难样采样三元组损失（本文之后用TriHard损失表示）是三元组损失的改进版。传统的三元组随机从训练数据中抽样三张图片，这样的做法虽然比较简单，但是抽样出来的大部分都是简单易区分的样本对。如果大量训练的样本对都是简单的样本对，那么这是不利于网络学习到更好的表征。大量论文发现用更难的样本去训练网络能够提高网络的泛化能力，而采样难样本对的方法很多。论文[10]提出了一种基于训练批量(Batch)的在线难样本采样方法——TriHard Loss。
TriHard损失的核心思想是：对于每一个训练batch，随机挑选 P 个ID的行人，每个行人随机挑选 K 张不同的图片，即一个batch含有 P×K 张图片。之后对于batch中的每一张图片 a ，我们可以挑选一个最难的正样本和一个最难的负样本和 a 组成一个三元组。

其中 α 是人为设定的阈值参数。TriHard损失会计算 a 和batch中的每一张图片在特征空间的欧式距离，然后选出与 a 距离最远（最不像）的正样本 p 和距离最近（最像）的负样本 n 来计算三元组损失。通常TriHard损失效果比传统的三元组损失要好。

（5）边界挖掘损失(Margin sample mining loss, MSML)

（考虑了正负样本对之间的绝对距离，同时借鉴了TriHard loss引入 hard sample mining 的思想，MSML 吸收了这两个优点。）
边界样本挖掘损失(MSML)是一种引入难样本采样思想的度量学习方法。三元组损失只考虑了正负样本对之间的相对距离。为了引入正负样本对之间的绝对距离，四元组损失加入一张负样本组成了四元组。四元组损失也定义为：

假如我们忽视参数 α 和 β 的影响，我们可以用一种更加通用的形式表示四元组损失:


其中 m 和 n 是一对负样本对，m 和 a 既可以是一对正样本对也可以是一对负样本对。之后把TriHard loss的难样本挖掘思想引入进来，便可以得到：

其中 a,p,m,n 均是batch中的图片，a,p 是batch中最不像的正样本对，m,n 是batch 中最像的负样本对，a,m 皆可以是正样本对也可以是负样本对。概括而言TriHard损失是针对batch中的每一张图片都挑选了一个三元组，而MSML损失只挑选出最难的一个正样本对和最难的一个负样本对计算损失。所以MSML是比TriHard更难的一种难样本采样，此外maxd(a,p)可以看作是正样本对距离的上界，mind(m,n)可以看作是负样本对的下界。MSML是为了把正负样本对的边界给推开，因此命名为边界样本挖掘损失。总的概括，MSML是同时兼顾相对距离和绝对距离并引入了难样本采样思想的度量学习方法。其演变思想如下图：



参考：基于深度学习的行人重识别研究综述（上）

cheney康
关注
专栏目录
度量学习(Metric Learning)
AI天才研究院
07-12 829
度量学习(Metric Learning) Metric Learning. 度量学习(Metric Learning)是指在特定的任务上通过理解样本之间的相似关系，学习一个合适的距离度量函数。传统的度量学习方法通常使用
深度迁移度量网络 Deep Transfer Metric Learning
qq_35337126的博客
12-18 4560
论文地址：Deep Transfer Metric Learning 摘要（abstract）   传统的度量学习方法同城假定训练和测试集是在相同的情景获取得到，因此假设他们的分布是一样的。但是在实际视觉识别应用中，这种假设往往不符合的。特别是当这些样本来源于不同的数据集。这篇论文提出深度迁移度量学习（DTML）方法，通过将识别知识从源域迁移到目标域。网络约束条件是：最大化类内距，以及最小化类间距...
如何理解深度学习中的 metric learning（度量学习）？
weixin_51678401的博客
07-16 1036
Metric learning（度量学习）是机器学习和深度学习中的一个领域，其目标是通过学习一个映射函数，将数据点映射到一个新的空间中，使得在该空间中，相似的数据点距离较近，而不相似的数据点距离较远。度量学习广泛应用于图像检索、人脸识别、语音识别等任务。
Ranked List Loss for Deep Metric Learning
嘻嘻哈哈yjy的博客
03-15 4170
CVPR2019 度量学习 Ranked List Loss for Deep Metric Learning 原文链接：https://arxiv.org/abs/1903.03238 度量学习在图像识别、检索等领域有着广泛应用。本文提出了一种新的方法，Ranked List Loss(RLL)。利用该损失函数可以小幅提升网络的准确性。话不多说，直接上图。 上图是几种常见的损失函数，最右侧的是...
【AI知识点】度量学习（Metric Learning）
最新发布
虾米记的博客
10-01 678
度量学习（Metric Learning）是一种机器学习方法，目标是通过学习一个距离度量函数，使得在特征空间中，相似的样本距离更近，不相似的样本距离更远。简单来说，它是在特征空间中定义一种适当的距离度量，使得模型能够更好地区分不同的类别或判断相似性。
度量学习的损失函数
kiminoamae的博客
09-09 741
一、什么是度量学习 度量学习和传统的表征学习不太一样，传统表征学习着重于分类问题，他计算的是概率。在度量学习中，他着重的是图片间的关系，计算的是图片的距离 常见的距离有： 欧式距离：dI1,I2=∣∣fI1−fI2∣∣2d_{I_1,I_2} = ||f_{I_1}-f_{I_2}||_2dI1​,I2​​=∣∣fI1​​−fI2​​∣∣2​ 余弦距离：dI1,I2=1−fI1−fI2∣∣fI1∣∣2∣∣fI2∣∣2d_{I_1,I_2} = 1 - \frac {f_{I_1}-f_{I_2}}{||f_
度量学习中常见的损失函数
pest_one的博客
08-30 1349
主要总结了度量学习（metric learning）中常见的损失函数
度量学习 (Metric Learning)（一）
热门推荐
Nehemiah_Li的专栏
03-12 4万+
度量学习（Metric Learning） 度量（Metric）的定义  在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。 1 为什么要用度量学习？ 很多的算法越来越依赖于在输入空间给定的好的度量。例如K-means、K近邻方法、SVM等算法需要给定好的度量来反映数据间存在的一些重要关系。这一问题在无监督的方法（如聚类）中尤为明显。举一
度量学习中损失函数的学习与深入理解
Bruce_0712的博客
05-27 2229
『深度概念』度量学习中损失函数的学习与深入理解 0. 概念简介 度量学习（Metric Learning），也称距离度量学习(Distance Metric Learning，DML) 属于机器学习的一种。其本质就是相似度的学习，也可以认为距离学习。因为在一定条件下，相似度和距离可以相互转换。比如在空间坐标的两条向量，既可以用余弦相似度的大小，也可以使用欧式距离的远近来衡量相似程度。 一般的度量学习包含以下步骤： Encoder编码模型：用于把原始数据编码为特征向量（重点如何训练模型） ..
深度学习基础----度量学习的损失函数
weiwei935707936的博客
10-11 1818
度量学习的损失函数(CV) 解释 度量学习 (Metric learning) 是广泛用于图像检索领域的一种方法 . 不同于表征学习 , 度量学习旨在通过网络学习出两张图片的相似度 . 学习的对象通常是样本特征向量的距离，度量学习的目的是通过训练和学习，减小或限制同类样本之间的距离，同时增大不同类别样本之间的距离。最后通过最小化网络的度量损失 , 来寻找一个最优的映射 f (x). 而这个映射 f (x), 就是我们训练得到的深度卷积网络. 常用度量学习损失方法 首先 , 假如有两张...
度量学习（metric learning）
Suan2014的博客
10-20 1万+
转自：http://blog.csdn.net/nehemiah_li/article/details/44230053 度量学习（Metric Learning） 度量（Metric）的定义  在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。 1 为什么要用度量学习？ 很多的算法越来越依赖于在输入空间给定
Deep metric learning 深度度量学习 总结
supergxt的博客
06-23 6803
最近的工作用是深度度量学习的改进，这里将DML进行一个总结。 根据个人的理解，开篇用一句话介绍一下度量学习： “不同于分类学习，度量学习是通过学习数据之间的相似性程度来获得一个更有意义或者说更具可分性的特征空间。” Traditional metric learning 核心目的： 1 通过一个optimal的距离度量来判断样本之间的相似性 2 减小相似样本之间的距离，增加不相似样本之间的距离 限制条件：往往利用的的是线性映射，导致很难解决实际问题中的non-linear问题。（当然大部分传统方法都会遇到这
二抽取代码MATLAB-metric-learning-reid:度量学习残数
05-26
在IT领域，度量学习（Metric Learning）是一种机器学习方法，尤其在计算机视觉中的行人重识别（Person Re-Identification, ReID）任务中扮演着重要角色。标题中的"二抽取代码MATLAB-metric-learning-reid"指的是使用...
Deep Metric Learning for Visual Understanding(深度度量学习在视觉理解方面的发展）
weixin_44576543的博客
09-04 1430
度量学习旨在学习距离函数来测量相似样本距离，其在很多视觉理解上发挥很大的作用，一般的，最优视觉函数对于不同的理解任务是非常具体的，因为其数据分布在不同的任务中是不同的，普遍认为度量学习训练数据的效果要优于手工设计，比如说欧式距离与余弦距离，大量的度量学习被 提出，并且成功应用于人脸识别 图片分类 视觉跟踪 人体重识别 跨模态配对图片的几何定位。 度量学习分为监督与非监督的，非监督度的度量学习尝...
『深度概念』度量学习中损失函数的学习与深入理解
简明AI工作室
06-20 4715
『深度概念』度量学习中损失函数的学习与深入理解 0. 概念简介 度量学习（Metric Learning），也称距离度量学习(Distance Metric Learning，DML) 属于机器学习的一种。其本质就是相似度的学习，也可以认为距离学习。因为在一定条件下，相似度和距离可以相互转换。比如在空间坐标的两条向量，既可以用余弦相似度的大小，也可以使用欧式距离的远近来衡量相似程度。 ...
度量学习（Metric learning）—— 基于分类损失函数（softmax、交叉熵、cosface、arcface）
TigerZ*的博客
08-02 5246
概述 首先，我们把loss归为两类：一类是本篇讲述的基于softmax的，一类是基于pair对的（如对比损失、三元损失等）。 基于pair对的，参考我的另一篇博客：https://blog.csdn.net/u012863603/article/details/119246720 基于softmax的改进主要有如下（有的loss拥有不同的名字）：softmax、center loss、range loss、Modified softmax、NormFace、large m...
度量学习（Metric learning、损失函数、triplet、三元组损失、fastreid）
TigerZ*的博客
07-30 1万+
定义 Metric learning 是学习一个度量相似度的距离函数:相似的目标离得近,不相似的离得远. 一般来说,DML包含三个部分，如下图.。 1）特征提取网络：map embedding 2）采样策略：将一个mini-batch里的样本组合成很多个sub-set 3）loss function：在每个sub-set上计算loss. 应用场景 通常是在个体级别的细粒度识别上使用，传统的分类是花鸟狗的大类别的识别，但是有些需求...
metric deep learning loss
智商不够，时间来凑
09-20 1147
1. softmax lossForward: Zj=wTyjxi+byj（1）Z_j={w^T_{{y_j}}x_i+b_{y_j}} （1） pj=eZj∑keZk（2）p_j = \frac{e^{Z_j}}{\sum_k e^{Z_k}} （2） Lk=−∑jqj,klogpj（3） L_k=-\sum_j q_{j,k} log {p_j}（3） Backward: ∂pj∂Z
机器学习: Metric Learning (度量学习)
JNing
06-10 2万+
[1] Wikipedia-距离函数 [2] DistLearnKit [3] 基于深度学习的Person Re-ID（度量学习） [4] 度量学习 [5] 度量学习（Distance Metric Learning）介绍
度量学习 (Metric Learning)
zhouxianen1987的博客
11-11 2190
度量学习（Metric Learning） 度量（Metric）的定义  在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。 1 为什么要用度量学习？ 很多的算法越来越依赖于在输入空间给定的好的度量。例如K-means、K近邻方法、SVM等算法需要给定好的度量来反映数据间存在的一些重要关系。这一问题在无监督的方法（如聚类）中尤为明显。举一个实际的例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值