从NCE loss到InfoNCE loss

关于NCE loss：知乎上的一些介绍的文字 Noise Contrastive Estimation 学习 - 知乎

github上的介绍文字：Lei Mao's Log Book – Noise Contrastive Estimation

NCE bridges the gap between generative models and discriminative models, rather than simply speedup the softmax layer.

知乎上的说法，NCE强大之处真的不只是能够解决巨大词表Softmax的运算量的问题（关于这个，有更多的解决此问题的思路：知乎 - 安全中心），而是在于它能够解决归一化项中积分（而非求和）无法计算的问题，毕竟如果能够用采样替代计算整个积分，这玩意就能用来对生成模型进行建模了（例如GAN）

一些说法 “去端到端”化和复杂loss：梯度隔离的分层神经网络模型Greedy InfoMax(GIM)，深入了解自监督学习#2，InfoNCE loss及其对分层脉冲神经网络的启发"去端到端”化和复杂loss：梯度隔离的分层神经网络模型Greedy InfoMax(GIM)，深入了解自监督学习#2，InfoNCE loss及其对分层脉冲神经网络的启发 | David 9的博客 --- 不怕"过拟合"

理解Contrastive Predictive Coding和NCE Loss 理解Contrastive Predictive Coding和NCE Loss - 知乎

InfoNCE的最近的一些总结  InfoNCE Explained | Papers With Code

info-nce-pytorchhttps://github.com/RElbers/info-nce-pytorchcontrastive-predictive-codinghttps://github.com/Spijkervet/contrastive-predictive-codingNoise Contrastive Estimation 前世今生——从 NCE 到 InfoNCEhttps://zhuanlan.zhihu.com/p/334772391