Deep InfoMax

最新推荐文章于 2023-03-08 18:26:15 发布
最新推荐文章于 2023-03-08 18:26:15 发布
阅读量2.7k 收藏 19
点赞数 5
分类专栏： 图网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45312141/article/details/113591741
版权

Deep InfoMax

好特征的基本原则应当是“能够从整个数据集中辨别出该样本出来”，也就是说，提取出该样本（最）独特的信息。

2、算法模型

在这里插入图片描述
上图是一个图像数据的基本编码器模型，编码器设为 E E E，输入一张图片 X X X，经过几层卷积，得到一个 M ∗ M ∗ c h a n n e l s M*M*channels M∗M∗channels的特征图，再将这些特征经过卷积展开或全连接层的计算，得到一个一维的特征向量 Y Y

最低0.47元/天 解锁文章
怕狗子的福哥
关注
  • 5
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
infomax算法.zip_Infomax算法ICA_infomax算法_screen29g_极大似然ICA_盲分离
07-14
应用于盲源分离的infomax算法，即极大似然ICA算法
Deep InfoMax (DIM)
连理o的博客
08-11 893
deep infomax
【读论文】DIM: Deep InfoMax
BohnLee的博客
11-23 1994
本文来自ICLR 2019 的论文Learning Deep Representatios By Mutual Information Estimation And Maximization.[链接] 本文揭示了表达式的无监督学习过程：通过最大化深度神经网络编码器输入和输出层之间的互信息。作者还提到结构很重要：讲输入中的局部性知识纳入目标可以极大提升表达式对下游任务的适应性。 背景知识 ...
由Deep InfoMax开始对比学习
学姐带你玩AI的博客
03-08 676
这篇文章是对比学习的开山之作之一，为对比学习提供了理论支撑，指导了后来人如何正确选择合适的对比函数损失。
NLP算法面试必备！史上最全！PTMs：NLP预训练模型的全面总结
喜欢打酱油的老鸟
04-30 2758
预训练模型(Pre-trained Models,PTMs)的出现将NLP带入了一个全新时代。2020年3月18日，邱锡鹏老师发表了关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》[1]，这是一篇全面的综述，系统地对PTMs进行了归纳分类。 本文以此篇综述论文为主要参考，通过借鉴不同的归纳方法进...
Learning deep representations by mutual information estimation a
08-03
该研究发表在ICLR 2019会议上，称为Deep InfoMax（DIM）方法，它改进了传统的无监督学习策略，并在某些情况下，其性能甚至可以与有监督学习方法相媲美。 互信息是一种衡量两个随机变量之间依赖性的量度，但在连续且...
论文研究-基于扩展Infomax与DOST的多导联睡眠脑电伪迹去除方法研究.pdf
07-22
为了提高该方法的应用效果，采用一种扩展Infomax与离散正交S变换结合的伪迹去除方法（DOSTIN），根据分形维数法实现伪迹识别，利用最大类间方差法使阈值的选取避免了过度去噪造成的有用信号损失。采用麻省理工的公开...
其中内容有关于对比学习实验之前的了解
02-23
该方法通过 Contrastive Self-Supervised Learning（对比自监督学习）实现， 其中 DIM（Deep InfoMax）是该方法的代表性算法。 DIM 的主要思想是将全局信息和局部信息最大化，通过学习全局特征和局部特征是否来自...
InformationMeasures.jl:信息论中的熵、互信息和高阶度量，具有各种估计量和离散化方法
05-31
信息量度 安装 Pkg.add("InformationMeasures") 表现 在需要最佳性能的情况下，建议使用最新版本的 InformationMeasures，以及 Julia 1.0 或更高版本。 另请参阅。 基本用法 当前支持关于三个或更少变量的信息度量...
基于图神经网络的社团发现算法的几篇具体英文论文+翻译.rar
04-20
本资源是对最新或经典的几篇基于图神经网络的社团发现算法的英文论文的精准翻译，并且经过严谨排版，公式手动完美复现，保证阅读流畅无障碍。对不喜欢看英文文献或想节约时间的小伙伴强烈推荐！...
【Pytorch神经网络实战案例】18 最大化深度互信信息模型DIM实现搜索最相关与最不相关的图片
热门推荐
小李的研究生学习日记
03-28 1万+
图片搜索器分为图片的特征提取和匹配两部分，其中图片的特征提取是关键。将使用一种基于无监督模型的提取特征的方法实现特征提取，即最大化深度互信息（DeepInfoMax，DIM）方法。 1 最大深度互信信息模型DIM简介 在DIM模型中，结合了自编码和对抗神经网络，损失函数使用了MINE与f-GAN方法的结合。在此之上，DM模型又从全局损失、局部损失和先验损失3个损失出发进行训练。 1.1 DIM模型原理 性能好的编码器应该能够提取出样本中最独特、具体的信息，而不是单纯地追求过小的重构误差。...
论文笔记：ICLR 2019 Deep Graph Infomax
qq_44015059的博客
02-13 1336
前言 论文链接：https://arxiv.org/abs/1809.10341 github：https://github.com/PetarV-/DGI 之前的大部分图节点表示学习方法属于半监督学习例如经典的GCN，本文的主要创新是提出了一种无监督一般化的图节点表示学习方法。DGI依赖于最大限度地扩大图增强表示和目前提取到的图信息之间的互信息——两者都是使用已建立的图卷积网络体系结构导出的。 对于图增强表示，是根据感兴趣节点所生成的子图，因此可以用于下游节点的表示学习任务。相较于之前对于 GCN 的无监
分享：互信息在对比学习中的应用
莫彩的博客
11-13 2278
对比学习常见的loss，但是为什么是这样？比如softmax或者lr这样的模型，其问题假设与目标存在清晰的推导关系。即，为什么使用这样的激活，这样的loss函数，最终我们都能在GLM理论中找到依据。正例比较近，负例比较远，那这个呢（refer DGI;2019 ICLR）？
Learning deep representations by mutual information estimation and maximization
qq_36616268的博客
01-25 4642
ICLR18的文章，reference100多，算贡献比较大的文章了。 首先介绍一下本文的预备知识点： 本文主要是涉及了一种数据表征方法，无监督的提取出图片中的高维表征。不进行具体任务的训练。 比如我们进行训练之后，固定好训练完的网络，进行分类，聚类等工作的训练。 创新点： 1：利用了互信息最大化输入与高维表征的关联程度。 2：互信息包含了局部互信息，以及全局互信息。 3：使用对抗网...
DEEP GRAPH INFOMAX
xiaotiaobiu的博客
10-24 1924
DEEP GRAPH INFOMAX
这些年在计算机视觉领域中的自监督学习~
要相信光
12-05 1708
文章目录为什么需要自监督学习？什么是自监督学习？Pretext Task进一步理解Pretext TaskClustering & Contrastive LearningContrastive Self-supervised Learning LearningDeep InfoMaxContrastive Predictive CodingLearning Invariance with Contrastive LearningScaling the number of negative exam
清晰易懂，基于pytorch的DeepFM的完整实验代码
jin_tmac's studio
09-29 1989
DeepFM延续了Wide&Deep的双模型组合的结构，改进之处就在于FM（因子分解机）替换了原来的Wide部分，加强浅层网络部分的特征组合能力。模型结构如下图所示（顶会发这么模糊的图有点不应该），左边的FM部分与右边的DNN共享相同的embedding层，左侧FM对不同特征域的Embedding进行两两交叉，也就是将Embedding向量当做FM中的特征隐向量。隐向量的做法，其实与矩阵分解用隐向量代表用户和物品的做法异曲同工，只是从单纯的用户、物品隐向量扩展到了所有特征上。此外，FM的二阶项可以通过。
InfoMax-GAN
weixin_37958272的博客
05-13 661
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning 虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时缓解生成对抗网络中的两个基本问题：判别器的灾难性遗忘和生成器的模式崩溃。我们通过对GANs采用对比学习和互信息最大化的方法来实现这一目标，并进行广泛的分析以了改进的来源。在相同的训
Deep Graph Infomax
最新发布
08-12
Deep Graph Infomax是一篇由Petar Veličković等人于2019年在ICLR上发表的论文。该论文提出了一种基于图对比学习的方法，旨在学习图数据的表示。方法中使用了一个GNN Encoder来将图的节点编码为向量表示，通过一个Read-out函数将节点表示汇总为整个图的表示向量。同时，该方法对原始图进行扰动，并使用相同的GNN Encoder对扰动后的图进行编码，然后通过一个Decoder来使图的表示与原始图的节点表示更接近，并使扰动后的图的节点表示与原始图的节点表示更加疏远。这篇论文的贡献是提出了一种基于互信息最大化的自监督图学习通用框架。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [图对比学习三篇顶会论文](https://blog.csdn.net/qq_51072801/article/details/130251996)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [论文阅读《Deep Graph Infomax（DGI）》](https://blog.csdn.net/m0_71014828/article/details/125199457)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值