关于“Deep Variational Metric Learning”

最新推荐文章于 2024-06-10 09:50:21 发布
最新推荐文章于 2024-06-10 09:50:21 发布
阅读量915 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzw110605110/article/details/85240569
版权
本文介绍了深变分度量学习（DVML）框架，旨在解决现有方法中类内差异不加区分导致的过度拟合问题。DVML通过刻画类内差异并保持类内不变性来增强模型的鲁棒性。论文中提出的网络结构结合了不同的损失函数，包括保证类内方差分布的L1，保持样本特定信息的L2，以及约束类内方差和不变性的L3和L4。
摘要由CSDN通过智能技术生成

论文阅读笔记

  1. 论文标题：Deep Variational Metric Learning
  2. 动机：现有的方法大多是对类内差异（variance）不加区分，使得模型在训练集上过度拟合。
  3. 创新：提出 deep variational metric learning (DVML) 框架：
    - 刻画类内差异（variance），解开（disentangle）类内不变性（invariance）
    - 产生判别样本（discriminative samples）提高鲁棒性
  4. DVML的网络结构：
    在这里插入图片描述
    损失函数：
    L = λ 1 L 1 + λ 2 L 2 + λ 3 L 3 + λ 4 L 4 L = \lambda _ { 1 } L _ { 1 } + \lambda _ { 2 } L _ { 2 } + \lambda _ { 3 } L _ { 3 } + \lambda _ { 4 } L _ { 4 } L=λ1​L1​+λ2​L2​+λ3​L3​+λ4​L4​
    L ( θ , ϕ ; X b ) ≈ 1 2 B ∑ i = 1 B ∑ j = 1 J ( 1 + log ⁡ ( ( σ j ( i ) ) 2 ) − ( μ j ( i ) ) 2 − ( σ j ( i ) ) 2 ) + 1 T B ∑ i = 1 B ∑ t = 1 L log ⁡ p θ ( x ( i ) ∣ z ( i , t ) ) ≜ L 1 + L 2 \begin{aligned} \mathcal { L } \left( \theta , \phi ; \mathbf { X } _ { b } \right) & \approx \frac { 1 } { 2 B } \sum _ { i = 1 } ^ { B } \sum _ { j = 1 } ^ { J } \left( 1 + \log \left( \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right) - \left( \mu _ { j } ^ { ( i ) } \right) ^ { 2 } - \left( \sigma _ { j } ^ { ( i ) } \right) ^ { 2 } \right) \\ & + \frac { 1 } { T B } \sum _ { i = 1 } ^ { B } \sum _ { t = 1 } ^ { L } \log p _ { \theta } \left( \mathbf { x } ^ { ( i ) } | \mathbf { z } ^ { ( i , t ) } \right) \\ & \triangleq L _ { 1 } + L _ { 2 } \end{aligned} L(θ,ϕ;Xb​)​≈2B1​i=1∑B​j=1∑J​(1+log((σ
最低0.47元/天 解锁文章
Allen_David
关注
深度神经网络（Deep Neural Network）用于协同过滤 Hierarchical Variational Autoencoders for Collaborative
AI天才研究院
08-04 1157
协同过滤（Collaborative filtering）是推荐系统领域的一种常用技术。它通过对用户行为数据进行分析，预测用户可能感兴趣的商品或服务，并向其推荐。传统的协同过滤方法通常采用基于用户的矩阵分解或因子分解的方法，生成用户-物品评分矩阵，并根据这个评分矩阵进行推荐。然而，这些方法存在两个主要问题：一是难以捕获长尾的高频物品；二是难以适应新用户和冷启动。因此，近年来，深度学习在推荐系统方面的应用越来越广泛。
A Guide Resource for Deep Reinforcement Learning
12-24 754
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
Deep-Metric-Learning-CVPR16, 提升结构化特征嵌入的深度量学习主库.zip
09-17
Deep-Metric-Learning-CVPR16, 提升结构化特征嵌入的深度量学习主库 基于提升结构特征嵌入的深度度量这个库有源代码和斯坦福在线产品数据集( ) 。 本文在 cv基础上进行了研究。 如果你只需要Caffe代码，请查看子模块。 对于损耗层实现，请看这里的 。引用这里工作如果你发现这里工作在你的研究中有用，请
关于“Deep Adversarial Metric Learning”
gzw110605110的博客
12-06 1781
论文阅读笔记 论文题目：Deep Adversarial Metric Learning 论文创新点：DAML利用大量 易辨识的负例（ easy negatives）生成 难辨识的负例（hard negatives）；现存的度量学习（metric learning）方法仅利用数量少的hard negatives而忽略数量多的easy negatives。如下图所示， 具体内容： DAML的网络结...
Deep metric learning 深度度量学习 总结
supergxt的博客
06-23 6743
最近的工作用是深度度量学习的改进，这里将DML进行一个总结。 根据个人的理解，开篇用一句话介绍一下度量学习： “不同于分类学习，度量学习是通过学习数据之间的相似性程度来获得一个更有意义或者说更具可分性的特征空间。” Traditional metric learning 核心目的： 1 通过一个optimal的距离度量来判断样本之间的相似性 2 减小相似样本之间的距离，增加不相似样本之间的距离 限制条件：往往利用的的是线性映射，导致很难解决实际问题中的non-linear问题。（当然大部分传统方法都会遇到这
度量学习DML—Deep Metric Learning
l1783733759的博客
10-05 1027
前言       生活中对于常用的度量有欧式距离、KL散度等，但是这些度量都是人工定义的。度量学习主要目标是训练神经网络使之成为一个度量，并且该度量并非人为定义而是从数据中学来（上面可能在胡说八道，不过某种意义上也可以理解为训练了一种度量，我感觉深度学习在其中就是做了一个网络嵌入，然后根据嵌入的特征向量计算欧氏距离或者其他的距离，当然训练的目标就是使得相近的样本的嵌入特征向量的距离更近，看完后面再来看这句话就知道了）。   &n
论文阅读理解 - Deep Metric Learning via Lifted Structured Feature Embedding
for_wo_future的博客
09-22 566
Deep Metric Learning via Lifted Structured Feature Embedding Paper Caffe-Code 摘要 - 提出一种样本间距离度量方法，其出发点在于，(一)学习样本语义特征嵌入，使得在语义嵌入空间中，相似样本映射距离更接近，不相似样本映射距离更远. (二)更好的利用网络训练中 batch 训练的优势，提出将一个 bat
ICRA2020论文整理（SLAM + Deep Learning）
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
Deep Learning-Based Video Coding: A Review and A Case Study
weixin_30325487的博客
06-13 2068
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 1、Abstract: 　　本文主要介绍的是2015年以来关于深度图像/视频编码的代表性工作，主要可以分为两类：深度编码方案以及基于传统编码方案的深度工具。对于深度编码方案，像素概率建模和自动编码器是两种方法，分别可以看作是预测编码方案和变换编码方案。对于深度工具，有几种使用深度学习来执行帧内预测、帧间预测、跨通道预测、概率分...
Revisiting_Deep_Metric_Learning_PyTorch:（ICML 2020）此仓库包含我们论文“重新审视深度度量学习中的培训策略和泛化性能”的代码（https
03-21
PyTorch中的深度度量学习研究 我在这里可以找到什么？ 该存储库包含以下代码中使用的所有代码和实现： Revisiting Training Strategies and Generalization Performance in Deep Metric Learning 接受ICML 2020 。 链接： : 该代码旨在用作深度度量学习的研究起点。通过在一致的设置下实施关键基准并记录大量指标，应该更容易确保方法收益不会因实现上的差异而增加，同时可以更好地理解驱动因素。 它以模块化的方式进行设置，以实现快速详细的原型制作，但关键元素的编写方式允许将代码直接复制到其他管道中。此外，W＆B中记录了多个培训和测试指标，以方便进行大规模评估。 最后，请在此处找到公共W＆B回购，其中包含在该文件中执行的关键运行： : 。 联系人：Karsten Roth， 随时欢迎提出建议！ 一些注
《论文阅读笔记》Deep Metric Learning via Lifted Structured Feature Embedding
huxcai的专栏
10-24 2133
1.解释Lifted ,Structured structured:结构化 可以参考structured learning : to prediction structured ojects ,rather than scalar discrete or real values.For example,the problem of translating a natural language
论文笔记——Semantic Instance Segmentation via Deep Metric Learning
许希律的博客
09-15 1583
度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。 在这篇论文中，度量学习用于计算像素之间的相似度，...
Deep Metric Learning 基本概念
qq_29422755的博客
04-03 1412
Deep Metric Learning 度量学习 度量学习（Metric Learning）的主要目的是学习一个距离函数d(⋅,⋅):Rk×Rk↦R+d(\cdot ,\cdot ):{{\mathbb{R}}^{k}}\times {{\mathbb{R}}^{k}}\mapsto {{\mathbb{R}}^{+}}d(⋅,⋅):Rk×Rk↦R+ ，该函数将两个 kkk 维的输入向量映射为二者之间的距离。其中输入向量通常是输入图像或图像的特征表示。距离函数的形式为d(x,y)2=(x−y)TM(x−y
推荐项目：深度度量学习（Deep Metric Learning）
最新发布
gitblog_00014的博客
06-10 461
推荐项目：深度度量学习（Deep Metric Learning） deep_metric_learning Deep metric learning methods implemented in Chainer 项目地址: https://gitcode.com...
论文实践学习 - Deep Metric Learning via Lifted Structured Feature Embedding
长风破浪会有时，直挂云帆济沧海
09-26 2719
Deep Metric Learning via Lifted Structured Feature Embedding1. 准备 安装 Caffe-Deep-Metric-Learning-CVPR16 基于ImageNet训练的的 GoogleNet Stanford Online Products dataset(2.9G)，这里采用的实验数据集 Cars Dataset Pre-traine
【2017_ICCV_DML]Smart Mining for Deep Metric Learning
booyoungxu的专栏
11-14 1032
为了解决DML问题得到feature embedding，目前主要用triplet model减少类内差异，增大类间差异，但是大量的训练样本会导致收敛很慢。这个问题促进了embedding的global structure发展和hard negative|positive，可是这些方法通常计算量比较大。文章提出的方法结合了Triplet model和embedding space的global st
度量学习 度量函数 metric learning deep metric learning 深度度量学习
热门推荐
心之所向
07-25 2万+
曼哈顿距离(CityBlockSimilarity) 同欧式距离相似，都是用于多维数据空间距离的测度。 欧式距离(Euclidean Distance) 用于衡量多维空间中各个点之间的绝对距离。使用时各个维度量级最好能够在同一个尺度上。 马氏距离(Mahalanobis distance) 一种有效的计算两个未知样本集的相似度的方法。与欧氏距离将所有维度同等看待不同，其考虑到各种...
【Deep Learning】Variational autoencoder
qq_38904659的博客
08-16 604
学习变分自编码器（variational autocoder）再一次让我领略到了Bayesian理论的强大之处，variational autocoder是一种powerful的生成模型。 Limitations of autoencoders for content generation 在上期推送的经典的autoencoder中，存在一些局限性，如下 When thinking about it for a minute, this lack of structure among the encoded
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值