自监督学习
文章平均质量分 93
ccjoffrey
这个作者很懒,什么都没留下…
展开
-
(CPC)Representation Learning with Contrastive Predictive Coding
Representation Learning with Contrastive Predictive Coding一种通用的无监督学习方法——对比预测编码。通过自回归模型预测潜在空间(高维空间)的未来,以学习高级表征。在训练阶段不涉及具体下游任务。原文主要贡献将高维数据压缩到更加紧密的潜在嵌入空间,这个空间中条件预测更容易建模。在这个潜在空间中使用强大的自回归模型来做多步未来预测。损失函数依靠噪声对比估计,这是与自然语言模型中用于学习词嵌入类似的方式,需要整个模型以端到端的形式进行训练。将最原创 2021-09-08 13:42:04 · 545 阅读 · 0 评论 -
Self-supervised Learning整理
Self-supervised LearningPre-train Fine-tunePre-train Fine-tune算是一种Transfer Learning。首先,假设按照SimCLR中的设定,将一般的模型分为两部分,分别为Encoder和Projection Head。Encoder结构类似于AutoEncoder中的Encoder部分,输出是一个低维的张量,可以称为输入数据的表征。Projection Head可以认为是一个全连接层,将Encoder输出的张量映射为更低维的张量(或者称为原创 2021-09-08 13:40:16 · 1089 阅读 · 0 评论 -
Mutual Information Neural Estimation梳理
Mutual Information Neural Estimation原文背景互信息可以衡量两个随机变量之间的相关性:I(X;Z)=H(X)−H(X∣Z)=H(Z)−H(Z∣X)=H(X)+H(Z)−H(X,Z)I(X;Z)=H(X)-H(X|Z)=H(Z)-H(Z|X)=H(X)+H(Z)-H(X,Z)I(X;Z)=H(X)−H(X∣Z)=H(Z)−H(Z∣X)=H(X)+H(Z)−H(X,Z)互信息量和KL散度的关系如下:I(X;Z)=∑x∈X∑z∈Zp(x,z)logp(x,y)p(x)原创 2021-09-06 19:01:12 · 1714 阅读 · 1 评论