Representation Learning with Contrastive Predictive Coding 论文阅读笔记
前言这是DeepMind在2019年发的一篇paper,也是无监督学习领域非常经典的一篇论文。它介绍了一种叫做Contrastive Predictive Coding的技术用于对序列形式的数据(e.g. 文本,声音信号等等)进行表征(representation)学习。CPC 模型架构首先我们先来看一下论文里的这张cpc模型架构图。对于一组序列数据x,先通过一个编码器g_enc对序列的每个位置xt进行编码,转化为表征zt。然后这系列表征作为输入,传入一个自回归模型g_ar。该自回归模型在t时刻的
原创
2022-04-26 00:11:10 ·
4794 阅读 ·
4 评论