对比学习系列论文CPC（一）——CPC概览

1.为什么要进行无监督学习？

CPC作者回答的首要问题就是我们使用无监督学习的原因，他表示有监督学的模型有一定的脆弱性，很难进行迁移。也就是鲁棒性不好。
这个主要因为当我们在进行一类任务的classification的时候我们提取出的信息大多和当前这个分类领域相关，所以当我们迁移到其他领域的时候，我们当前的模型就很难适应其他的环境了。
所以为了解决这个问题，我们可以使用无监督的方式学习特征，因为我们没有特定的标签也就不存在标签的特定领域的问题，提取的信息也就更加均衡。

2.进行深度学习的难点有哪些？

这个段落我们一定要考虑到CPC确实出来的特别早，所以当前文章对无监督学习的评价是有所偏差的，所以我们要适当意识到这个东西是有所偏差的。
作者论述到，当前的无监督学习的一个主要难点是很难评价提取出的特征是不是好的特征这就需要提出特征的评价方式。

2.1所以作者提出了评价方法

作者的评价方式是我们将原有的信息映射到压缩空间（维度更低）信息也就更加密集了。之后使用压缩空间的信息再产生一个预测空间特征，之后我们使用预测空间的当前特征预测未来的压缩空间的信息。如果可以成功预测未来空间的压缩空间信息（全序列上使用的压缩空间提取信息的获得方式是一样的）。那么也就说明我们当前提取出的预测信息是正确的，也就说明了当前预测是准确的。

具体的我们可以看一下论文当中给的结构：

这里作者主要是使用了两种特征提取器一个是genc一个是gar

• genc是进行压缩空间的特征提取的，这里是没有上下文信息的;
• gar是预测信息提取的，这里是融入上下文信息的。
  之后使用预测信息预测未来的时候，实际上是预测未来的压缩空间的信息。

2.2现在主流方法

现在主流方法是使用提取出的信息进行微调，之后使用微调的轮数和微调的最终结果作为评价标准。
看起来好像CPC的评价标准是优点问题的，但是他关键是早啊，所以还是非常非常非常厉害的。