contrastive learning的学习

最新推荐文章于 2023-11-03 23:29:10 发布
最新推荐文章于 2023-11-03 23:29:10 发布
阅读量348 收藏
点赞数
分类专栏： 对比学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35368303/article/details/124264630
版权
本文介绍了将高斯混合变分自编码器（C-GMVAE）与对比学习结合应用于多标签分类的方法，旨在解决后向塌陷和过度正则化问题。通过在潜在空间中学习和对齐特征与标签，使用独立高斯分布对标签进行embedding，并利用KL散度计算损失。对比学习策略根据样本是否存在特定标签调整损失，增强特征与标签的相关性。实验证实在mulan数据集上表现出良好效果。
摘要由CSDN通过智能技术生成

Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification-Accepted to NeurIPS 2021 Workshop on Deep Generative Models and Downstream Applications

文章目录

前言

学习该篇论文讲了什么内容，学习method

一、摘要

我们的方法还采用了学习和对齐特征和标签的潜在空间的思想。与基于单峰先验的先前工作相比，C-GMVAE 在潜在空间上施加了高斯混合结构，以缓解后向塌陷和过度正则化问题。

二、method

在这里插入图片描述

1.高斯混合潜在的空间

在这里插入图片描述

这里通过网络对标签进行embedding，然后进行独立高斯分布

最低0.47元/天 解锁文章
weeekly
关注
专栏目录
对比学习Contrastive Learning原理与代码实例讲解
AI天才研究院
06-04 1156
1.背景介绍 在深度学习的背景下，对比学习（Contrastive Learning）是一种无监督学习方法，它通过学习将相似样本和不同样本区分开来。这种方法的核心思想是强制模型学习输入数据中的内在结构，从而在没有标签的情况下实现有效学习。随着大规模数据集的出现，以及计算能力的飞速发展，对比学习已经成为了许多研究领域的热点话题。
Contrastive Learning
BLvren_的博客
12-10 392
文章目录主要内容对比学习Instance Discrimination框架分类I A taxonomy of similarityII A taxonomy of encodersIII A taxonomy of transform headsIV A taxonomy of contrastive loss functions 主要内容 对比学习 对比学习最近已成为CV，NLP等领域的自监督学习的主要组成部分。对比学习的目的是将同一样本的增强版本相互嵌入，同时试图赶走不同样本的嵌入。对比学习需要一个相似
Contrastive Learning-Enhanced Nearest Neighbor Mechanism for Multi-Label Text Classification
weixin_44695049的博客
04-17 433
在MLTC任务中在这篇文章以前大多使用的方法是关注到文本的表示，；要么就是注意到相关；但是这些内容都没有注意到，通过相似实例之间的有可能相似的实例标签可以给本实例的标签提供辅助的标记作用；文中就使用了，最终将周围这些相近的邻居的label信息放到本test sample中，用来辅助当前sample的标签分类任务；但是这种情况可能对于标签预测的时候，，从而影响模型的性能，这里使用的方法是，；这里的模型同时还考虑了对于；模型中使用了对比学习系数β使得模型在学习的时候可以捕捉到更加细粒度的标签关联性信息。
【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation
最新发布
Danger的博客
11-03 1266
【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation
Contrastive learning的学习
qq_35368303的博客
04-18 2883
Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021 文章目录Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021前言一、摘要二、method1.input2.output3.contrastive learning三、实验总结 前
顶会中的对比学习论文-2
Hekena的博客
03-20 482
对比方法：互补的mask方法，将一个输入进行多次mask，第一次的mask的比例是, 第二次mask的时候只针对第一次mask中没被选择的token以的比例进行mask,所以两个句子被mask的部分是互补的，第三次以此类推。文中对比的是：BERT的中间层表示和最后的CLS的表示。本文主要针对的是无监督OOD进行训练，策略是先用有监督对比学习在IND数据上训练，然后用cross-entropy损失对分类器fine-tune，有监督对比学习的目标是拉近IND中属于拉近同一类别的意图，推远不同类别的意图。
2022 ICML 论文合集（附Code和数据集）
weixin_54335478的博客
05-14 1362
代码链接：https://github.com/xianggao1102/learning-to-incorporate-texture-saliency-adaptive-attention-to-image-cartoonization。代码链接：https://github.com/pytorch/fairseq/tree/main/examples/data2vec。
【自监督学习】对比学习（Contrastive Learning）介绍
Roaddd的博客
03-15 1万+
我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。
GMVAE（GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS）高斯混合变分自编码器公式推导
上帝是个娘们的博客
06-12 4773
GMM 高斯混合模型： p(x)=∑zp(z)p(x∣z)=∑k=0K−1πkN(x∣μk,σk) \begin{aligned} p(x) = &\sum_{z}p(z)p(x|z) \\ = &\sum_{k=0}^{K-1} \pi_{k}N(x|\mu_{k}, \sigma_{k}) \end{aligned} p(x)==​z∑​p(z)p(x∣z)k=0∑K−1​πk​N(x∣μk​,σk​)​ 其中∑kπk=1，z是一个K维的one−hot向量，p(zk=1)=πk\sum_
AAAI2019论文列表（中英对照）
dovings的博客
07-04 5636
AAAI2019论文列表（中英对照）
【开集识别论文解读】GMVAE——AAAI2021
cute_cxy的博客
06-02 1891
Open-Set Recognition with Gaussian Mixture Variational Autoencoders论文解读。开集识别的目标是将测试样本分为训练中见过的已知类，或将其作为未知类拒绝。现有的深度开集识别分类器通常训练显式的闭集分类器，不联合使用重构的方法削弱了潜在表示区分未知类的能力。在本文中，训练模型在潜在空间中配合学习重建和执行基于类的聚类。本文提出的高斯混合变分自动编码器（GMVAE）通过大量实验，获得了更准确和鲁棒的开集分类结果，F1平均提高29.5%。...
深度学习（生成式模型GMVAE）——deep unsupervised clustering with gaussian mixture variational autoencoders
菜到怀疑人生的博客
07-12 4654
文章目录前言GMVAE的生成过程GMVAE的损失函数reconstruction termconditional prior term 前言 传统的VAE，隐变量服从标准高斯分布（单峰），但有时候，单个高斯分布可能不能完全表达图像x的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理，因此有学者将混合高斯分布模型（GMM）与VAE进行结合，其结果便是GMVAE。 FBI warning 本文为代码与论文结合进行理解的产物，如有错误，欢迎指出。本文不会进行EL
论文阅读笔记｜大规模多标签分类研究概览
Meiling_up
03-10 1140
大规模多标签文本分类概述
contrastive-learning
03-18
contrastive-learning
理解对比表示学习(Contrastive Learning)
热门推荐
xxxxxxxxxx13的博客
12-12 2万+
目录一、前言二、对比学习三、主要论文（附代码分析）1.MOCO ([Kaiming He](https://ieeexplore.ieee.org/document/9157636) *et al.* 2020)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 201
ACL'22丨预训练语言模型能否像人一样解释明喻
zenRRan的博客
09-23 578
每天给你送来NLP技术干货！来自：知识工场前言明喻是人们日常生活中一类常见的表述形式，解释明喻可以帮助机器更好地理解自然语言。因此，明喻解释(SimileInterpretation)是自然语言处理领域中一个重要的研究问题。如今，大规模预训练语言模型(Pre-trainedLanguage Models , PLMs)在各类自然语言处理任务上得到突出的表现效果。那预训练语言模型是否能像人一样解释明...
Label-Specific Document Representation for Multi-Label Text Classification笔记
weixin_44695049的博客
04-27 246
这篇文章是发布在2019年的EMNLP上的文章，这篇文章被多个模型作为baseline，所以将这个模型的具体内容拿过来看一下，如果可以，以后可以在这篇文章进行一个baseline的比较；
长尾预测效果不好怎么办？试试这两种思路
zenRRan的博客
09-05 1195
每天给你送来NLP技术干货！来自：圆圆的算法笔记1什么是长尾问题长尾问题一直是很多场景中最难优化的问题，特别是在推荐系统领域，长尾问题十分常见，却很难优化。在推荐系统中，长尾问题指的是，某些实体在训练数据中出现次数非常少，导致模型对这部分样本打分效果很差。典型的场景包括，新用户没有几条浏览行为，如何准确推荐用户感兴趣的内容；一些商品非常小众，用户反馈很少，如何对这些商品进行推荐等等。长尾在一个成熟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值