sinat_34604992的博客

强化学习相关研究整理，持续更新

去年九月份我随项目组一起参加了中华医学会医学信息学分会主办的医学数据挖掘算法评测大赛，原本是抱着拿一部分医疗文本数据的心态区参加比赛的

前阵子读了一篇对比学习（Contrastive Learning）领域的经典论文《Representation Learning with Contrastive Predictive Coding》（Contrastive Predictive Coding 又简称 CPC），因为论文确实有点难理解，洛基也是在网上翻找了许多博客资料（在此对他们表示感谢，参考博文的链接会在文末附上），前后花了有一周时间，硬啃公式之后才理解了几成，所以在此把自己的理解记录一下，希望能帮到同样在看这篇论文的你们。首先要说的

CNN是在图像处理领域大放异彩的网络模型，但其实在NLP领域CNN同样有许多应用。最近发现，在长文本上CNN提取特征的效果确实不错，在文本分类这种简单的任务上，并不需要复杂且无法并行的RNN，CNN就能搞定了。（当然，其实没必要用到复杂的神经网络，简单的机器学习模型+传统的特征，也能取得不错的效果，而且速度还更快）。针对文本分类，CNN在长文本上的效果很好，而且模型也很简单，这是我想写这篇blog...