《Understanding Hard Negatives in Noise Contrastive Estimation》阅读笔记

1 思想

本文通过理论与实验分析，说明NCE loss中使用难负样本是对真实CE loss的有偏估计，而选择难负样本有助于减少理想模型与经验估计模型梯度之间的偏差。

2 理论分析

2.1 NCE loss简介

给定一组数据样本$（x,y）\in \mathcal{X}\times \mathcal{Y}$，其中$x$为样本，$y$为标签（也可以为其他数据类型），则条件概率密度$p_{\theta }(y|x)$为：

上式中的$s_{\theta }(x,y)$表示一个分类器，上式表示了$x$标签为$y$的条件概率密度，这里可以把$(x,y)$视为一个正对，而$\mathcal{Y}$中其他样本与$x$的集合就视为负对，由此我们可以得到CE loss为：

上面的理想条件概率密度 p θ (