对比自监督学习论文阅读

对 CPC (对比预测编码) 的理解

模型主要的 Intuitions 就是学习一种能够对高维信号不同部分的基础共享信息（underlying shared infomation）进行编码的 representation，同时丢弃掉更底层的低级信息和噪声。在时间序列和高维的建模中，通过对能够进行预测的 representation 进行学习，会使其学习到更多的全局结构，作者将学习到的这种特征称为”slow features“

最大化也就是通过充分学习现在的上下文c最大程度的减小了未来x的不确定度，从而起到了预测的效果，所以所以CPC希望网络可以最大化x和c之间的互信息。