DML
文章平均质量分 89
胖胖大海
这个作者很懒,什么都没留下…
展开
-
度量学习Metirc Learning和基于负例的对比学习Contrastive Learning的异同点思考
如果对于两张都是狗的图片(但是是不同的图片),为何他们在对比学习中,projector之后的表示空间是相邻的呢?情况二:假如在一个Batch中同时存在两张狗的图片,按照自监督的预设前提,自己只和自己像,和其他都不像,那么这两张狗的图片互为负样本,模型训练时在特征空间上确实会将这两张图片的表征距离拉远,所以此时需要用到损失函数里面的温度系数,温度系数设置的越小,会把“负例”推的越远,但此时的负例可能是假负例,所以作者也讲了,温度系数设置的太小容易出现误判的负例。以下仅是个人的一些观点,谨慎参考。原创 2023-05-14 15:53:38 · 1066 阅读 · 1 评论 -
从零搭建音乐识别系统(五)embedding特征提取模型验证
在前面的内容中,我们已经借助于pytorch-metric-learning代码库,使用ResNet + Circle Loss+ sample miningde 方法训练了度量学习模型,该模型旨在将一个输入的10秒音频短片转化为一个具有表征能力的高维embedding向量。度量学习的目标是对于属于同一类别ID的音乐片段的embedding相似度大于属于不同类别ID的音乐片段的embedding相似度。关于如何验证特征提取模型的性能问题,在模型训练阶段,我们已经使用了独立于训练集的验证集和测试集,使..原创 2022-01-11 20:23:23 · 2327 阅读 · 4 评论 -
从零搭建音乐识别系统(四)embedding特征提取模型
在第二篇中,我们已经从每首歌曲中提取了20个相互之间重合度在50%~97.5%的10秒音乐片段,并将这些片段转换成了大小为[64, 1001]的梅尔频谱矩阵。假如我们现在的训练集中有10000首不同的歌曲,那么我们现在就有20 * 10000共20万个[64, 1001]的训练样本。本篇我们就使用度量学习方法训练模型来提取embedding特征。关于度量学习方法,这里再次强调一下度量学习的几个核心概念:1、选定度量学习方法使用的embedd......原创 2022-01-09 21:06:16 · 1996 阅读 · 4 评论 -
从零搭建音乐识别系统(一)整体功能介绍
从零开始搭建一个音乐识别系统总共分几步,简单画了一个草图:总结一下,大概分为以下四步:1、训练一个分类模型,用于识别一段音乐是否是音乐,如果是音乐才继续进行识别,如果不是音乐则停止识别,这可以带来两个方面的好处。一是可以降低一定的计算量;二是可以降低误识别2、使用度量学习相关方法,训练一个提取音乐片段embedding向量的模型,理想情况下,相似的歌曲片段的embedding之间具有更高的相似度,从而可以根据embeddi......原创 2022-01-08 22:12:15 · 1189 阅读 · 0 评论 -
度量学习DML之MoCO
度量学习的目标:相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度,或者具有更小的空间距离 对于out-of samples的样本,也就是未见过的样本,希望也能提取到有效的embedding,也就是模型的泛化能力更好MoCo(queue+encoder滑动平均更新)论文:《Momentum Contrast for Unsupervised Visual Representation Learning》参考:MoCo论文解读 - ...原创 2021-12-26 18:01:58 · 1533 阅读 · 0 评论 -
度量学习DML之Cross-Batch Memory
Cross-Batch Memory(无痛涨点)论文:《Cross-Batch Memory for Embedding Learning》参考:跨越时空的难样本挖掘 - 知乎通过前面分析的几种pair-based的损失函数可能看到,基于pair的损失函数通常在mini-batch中挖掘具有高价值的样本来进行模型训练,这样一来,在训练时使用的batch size越大,得到的模型的性能就越好,这在上述的一些论文中大部分作者都会提及到。但是,现实情...原创 2021-12-26 17:57:49 · 1293 阅读 · 0 评论 -
度量学习DML之Circle Loss
度量学习的目标:相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度,或者具有更小的空间距离 对于out-of samples的样本,也就是未见过的样本,希望也能提取到有效的embedding,也就是模型的泛化能力更好Circle Loss论文:《Circle Loss: A Unified Perspective of Pair Similarity Optimization》参考:Circle Loss 感想 - 知乎参考:如何理解与看待在cvpr2020原创 2021-12-26 17:54:48 · 6050 阅读 · 3 评论 -
度量学习DML之Lifted Structure Loss
度量学习的目标:相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度,或者具有更小的空间距离 对于out-of samples的样本,也就是未见过的样本,希望也能提取到有效的embedding,也就是模型的泛化能力更好Lifted Structure Loss论文:《Deep Metric Learning via Lifted Structured Feature Embedding》核心思想:通过前面的介绍可以知道,Contra...原创 2021-12-26 17:44:09 · 2846 阅读 · 0 评论 -
度量学习DML之Triplet Loss
度量学习的目标:相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度,或者具有更小的空间距离 对于out-of samples的样本,也就是未见过的样本,希望也能提取到有效的embedding,也就是模型的泛化能力更好Triplet Loss(三元组损失)论文:《FaceNet:A Unified Embedding for Face Recognition and Clustering》三元组损失顾名思义,一次输入的样本数量有三...原创 2021-12-26 17:39:11 · 1925 阅读 · 0 评论 -
度量学习DML之Contrastive Loss及其变种
度量学习的目标:相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度,或者具有更小的空间距离 对于out-of samples的样本,也就是未见过的样本,希望也能提取到有效的embedding,也就是模型的泛化能力更好Contrastive Loss(对比损失)论文:《Dimensionality Reduction by Learning an Invariant Mapping》假设和表示两个样本的embedding向量,表示和...原创 2021-12-26 17:34:25 · 3582 阅读 · 0 评论