contrastive learning的学习

最新推荐文章于 2023-05-14 12:22:45 发布
最新推荐文章于 2023-05-14 12:22:45 发布
阅读量325 收藏
点赞数
分类专栏： 对比学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35368303/article/details/124264630
版权
本文介绍了将高斯混合变分自编码器（C-GMVAE）与对比学习结合应用于多标签分类的方法，旨在解决后向塌陷和过度正则化问题。通过在潜在空间中学习和对齐特征与标签，使用独立高斯分布对标签进行embedding，并利用KL散度计算损失。对比学习策略根据样本是否存在特定标签调整损失，增强特征与标签的相关性。实验证实在mulan数据集上表现出良好效果。
摘要由CSDN通过智能技术生成

Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification-Accepted to NeurIPS 2021 Workshop on Deep Generative Models and Downstream Applications

文章目录

前言

学习该篇论文讲了什么内容，学习method

一、摘要

我们的方法还采用了学习和对齐特征和标签的潜在空间的思想。与基于单峰先验的先前工作相比，C-GMVAE 在潜在空间上施加了高斯混合结构，以缓解后向塌陷和过度正则化问题。

二、method

在这里插入图片描述

1.高斯混合潜在的空间

在这里插入图片描述

这里通过网络对标签进行embedding，然后进行独立高斯分布

最低0.47元/天 解锁文章
weeekly
关注
专栏目录
对比学习Contrastive Learning原理与代码实例讲解
程序员光剑
06-04 1038
1.背景介绍 在深度学习的背景下，对比学习（Contrastive Learning）是一种无监督学习方法，它通过学习将相似样本和不同样本区分开来。这种方法的核心思想是强制模型学习输入数据中的内在结构，从而在没有标签的情况下实现有效学习。随着大规模数据集的出现，以及计算能力的飞速发展，对比学习已经成为了许多研究领域的热点话题。
理解对比表示学习(Contrastive Learning)
热门推荐
xxxxxxxxxx13的博客
12-12 2万+
目录一、前言二、对比学习三、主要论文（附代码分析）1.MOCO ([Kaiming He](https://ieeexplore.ieee.org/document/9157636) *et al.* 2020)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 201
Contrastive Learning-Enhanced Nearest Neighbor Mechanism for Multi-Label Text Classification
weixin_44695049的博客
04-17 395
在MLTC任务中在这篇文章以前大多使用的方法是关注到文本的表示，；要么就是注意到相关；但是这些内容都没有注意到，通过相似实例之间的有可能相似的实例标签可以给本实例的标签提供辅助的标记作用；文中就使用了，最终将周围这些相近的邻居的label信息放到本test sample中，用来辅助当前sample的标签分类任务；但是这种情况可能对于标签预测的时候，，从而影响模型的性能，这里使用的方法是，；这里的模型同时还考虑了对于；模型中使用了对比学习系数β使得模型在学习的时候可以捕捉到更加细粒度的标签关联性信息。
Contrastive learning的学习
qq_35368303的博客
04-18 2862
Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021 文章目录Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021前言一、摘要二、method1.input2.output3.contrastive learning三、实验总结 前
2022 ICML 论文合集（附Code和数据集）
weixin_54335478的博客
05-14 1231
代码链接：https://github.com/xianggao1102/learning-to-incorporate-texture-saliency-adaptive-attention-to-image-cartoonization。代码链接：https://github.com/pytorch/fairseq/tree/main/examples/data2vec。
GMVAE（GAUSSIAN MIXTURE VARIATIONAL AUTOENCODERS）高斯混合变分自编码器公式推导
上帝是个娘们的博客
06-12 4648
GMM 高斯混合模型： p(x)=∑zp(z)p(x∣z)=∑k=0K−1πkN(x∣μk,σk) \begin{aligned} p(x) = &\sum_{z}p(z)p(x|z) \\ = &\sum_{k=0}^{K-1} \pi_{k}N(x|\mu_{k}, \sigma_{k}) \end{aligned} p(x)==​z∑​p(z)p(x∣z)k=0∑K−1​πk​N(x∣μk​,σk​)​ 其中∑kπk=1，z是一个K维的one−hot向量，p(zk=1)=πk\sum_
AAAI2019论文列表（中英对照）
dovings的博客
07-04 5575
AAAI2019论文列表（中英对照）
Article Analysis(AA): A Simple Framework for Contrastive Learning of Visual Representations
01-20
A Simple Framework for Contrastive Learning of Visual Representations 作者： Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新...
【开集识别论文解读】GMVAE——AAAI2021
cute_cxy的博客
06-02 1794
Open-Set Recognition with Gaussian Mixture Variational Autoencoders论文解读。开集识别的目标是将测试样本分为训练中见过的已知类，或将其作为未知类拒绝。现有的深度开集识别分类器通常训练显式的闭集分类器，不联合使用重构的方法削弱了潜在表示区分未知类的能力。在本文中，训练模型在潜在空间中配合学习重建和执行基于类的聚类。本文提出的高斯混合变分自动编码器（GMVAE）通过大量实验，获得了更准确和鲁棒的开集分类结果，F1平均提高29.5%。...
深度学习（生成式模型GMVAE）——deep unsupervised clustering with gaussian mixture variational autoencoders
菜到怀疑人生的博客
07-12 4496
文章目录前言GMVAE的生成过程GMVAE的损失函数reconstruction termconditional prior term 前言 传统的VAE，隐变量服从标准高斯分布（单峰），但有时候，单个高斯分布可能不能完全表达图像x的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理，因此有学者将混合高斯分布模型（GMM）与VAE进行结合，其结果便是GMVAE。 FBI warning 本文为代码与论文结合进行理解的产物，如有错误，欢迎指出。本文不会进行EL
论文阅读笔记｜大规模多标签分类研究概览
Meiling_up
03-10 1061
大规模多标签文本分类概述
ACL'22丨预训练语言模型能否像人一样解释明喻
zenRRan的博客
09-23 551
每天给你送来NLP技术干货！来自：知识工场前言明喻是人们日常生活中一类常见的表述形式，解释明喻可以帮助机器更好地理解自然语言。因此，明喻解释(SimileInterpretation)是自然语言处理领域中一个重要的研究问题。如今，大规模预训练语言模型(Pre-trainedLanguage Models , PLMs)在各类自然语言处理任务上得到突出的表现效果。那预训练语言模型是否能像人一样解释明...
Label-Specific Document Representation for Multi-Label Text Classification笔记
weixin_44695049的博客
04-27 223
这篇文章是发布在2019年的EMNLP上的文章，这篇文章被多个模型作为baseline，所以将这个模型的具体内容拿过来看一下，如果可以，以后可以在这篇文章进行一个baseline的比较；
长尾预测效果不好怎么办？试试这两种思路
zenRRan的博客
09-05 1150
每天给你送来NLP技术干货！来自：圆圆的算法笔记1什么是长尾问题长尾问题一直是很多场景中最难优化的问题，特别是在推荐系统领域，长尾问题十分常见，却很难优化。在推荐系统中，长尾问题指的是，某些实体在训练数据中出现次数非常少，导致模型对这部分样本打分效果很差。典型的场景包括，新用户没有几条浏览行为，如何准确推荐用户感兴趣的内容；一些商品非常小众，用户反馈很少，如何对这些商品进行推荐等等。长尾在一个成熟...
万物皆Contrastive Learning，从ICLR和NIPS上解读对比学习最新研究进展
09-27 1382
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，
GAUSSIAN MIXTURE VAE: LESSONS IN VARIATIONAL INFERENCE, GENERATIVE MODELS, AND DEEP NETS
omnispace的博客
03-12 1882
Not too long ago, I came across this paper on unsupervised clustering with Gaussian Mixture VAEs. I was quite surprised, especially since I had worked on a very similar (maybe the same?) concept a few...
ICCV 2021 结果出炉！最全论文下载及分类汇总（更新中）
极市平台的技术博客
07-20 2万+
ICCV2021 最全整理：论文分类汇总 / 代码 / 项目 / 论文解读（待更新）： 此前我们对ICCV2019/2017、CVPR2021/2020/2019、ECCV2020进行了分类汇总整理，所有的内容都汇总于社区 or Github： https://github.com/extreme-assistant/ICCV2021-Paper-Code-Interpretation/edit/master/README.md https://bbs.cvmart.net/post/62 https:
Contrastive Learning
最新发布
07-28
- *1* *2* [对比学习（contrastive learning）](https://blog.csdn.net/cziun/article/details/119118768)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值