负采样Negative Sampling

1.噪声对比估计（Noise contrastive estimation）

语言模型中，根据上下文c，在整个语料库V中预测某个单词w的概率，一般采用softmax形式，公式为：

NCE:将softmax的参数估计问题 转化成 二分类。
正样本：经验分布生成的（即真实分布）真实样本标签D=0，
负样本：噪声样本，由q(w)生成 对应标签D=1。

从正样本中提取一个，从噪声分布中提取k个噪声样本，在总样本（真实样本+噪声样本）中，w代表预测的目标词。
那么（d,w）的联合概率分布如下：

中间省略一些计算过程和假设，（链接）最终：

来源：
计算推理（知乎）https://zhuanlan.zhihu.com/p/76568362
[推理过程等(csdn)]https://blog.csdn.net/weixin_40901056/article/details/88568344

2.负采样Negative Sampling

（1）负采样Negative Sampling是NCE的一个变种，概率的定义有所区别：

(2)负采样的问题
负采样是为了解决类别太多的一种折中方案.
在实际中需要考虑的点包括：可能会带来偏差；负样本离分界线太远而没有价值；分布波动大，噪声太强，负样本选取困难；负样本可能本身带来正向收益等。在与预期有差距的时候可以考虑一下。
比如预测任务，负采样可能会使其偏度较大，如点击率预估，本来样本点击率为0.01，负采样使正负样本比例1:9，那最后样本平均点击率就为0.1，这种任务如果一定要负采样肯定要进行一定的修正。
样本信息过分冗余，通过negative sampling可以在相同机器资源的情况下提高训练速度，而且对效果影响很有限，这对于有限预算下是很重要的。
负样本不能有效反应用户真实意图的情况下，negative sampling可能会带来收益，比如有一些场景用户很可能大部分都没有看到而导致的负样本采集；

（3）负采样的方法

静态负采样、强负例采样、对抗式负采样 、基于图的负采样 和引入额外信息的负采样。

①静态负采样 (Static Negative Sampling)

从未交互集中选择已知的样例作为负例，通过给不同的样例设置不同的权重，我们便能根据负例分布进行采样。当每个样例被采样为负例的概率不随训练发生变化时，我们就称这种采样策略为静态负采样 。
在静态负采样方法中，最简单也是应用最广泛的方法是随机负采样 (RNS, viz. Random Negative Sampling)，也被称为均匀负采样 (Uniform Negative Sampling)。RNS随机从负例候选集中选择一个作为负例，在不考虑负采样的研究中，研究者们一般使用 RNS 作为基础的采样方法，以便公平地和 baseline 进行比较。
对于每个正例而言，不同的负例带来的影响并不相同，一种启发式的负例分布的策略是基于流行度的负采样 (PNS, viz. Popularity-biased Negative Sampling)。**流行度可以通过频次 (frequency) 或度 (degree) 来反映，**即样本 被选为负例的概率和 的流行度的 次方具有比例关系。

②强负例采样 (Hard Negative Sampling)
所谓强负例 (hard negative) 的 hard 取决于模型，那些被错误分类的样例，或是预测得分更高的负例，与改进模型结果更为相关。

③对抗式负采样 (Adversarial Sampling)
对抗式负采样方法通常基于 GAN 来选择负例。
**GAN:**随机生成，判断正误，打回去重新生成，再判断…

④基于图的负采样 (Graph-based Sampling)
基于图的负采样方法则是进一步结合样例在图上的结构 (structural) 信息。

⑤引入额外信息的负采样 (Additional Data Enhanced Sampling)
一些工作利用社交网络中的联系、用户的地理位置、商品的类别信息以及额外的交互数据，例如用户浏览但没有被点击的商品 (viewed but non-clicked) ，以及用户点击了却没有购买的商品 (clicked but non-purchased) 来增强负例的选取。
在工业的推荐场景中，不同的行为 (比如浏览、点击、添加购物车、购买) 是建模用户偏好的关键。

(4)融入课程学习 (Curriculum Learning)

(5)负采样比例

负采样方法主要是为了提升负例质量，而负采样比例则是决定了负例的数量。

主要参考：
负采样的问题
负采样的方法

关于第一部分NCE具体的推导过程其实还是有些半懂不懂，等以后有需要可以进一步完善一下。

总结，

负采样其实就是对于一些负案例给予一定的权重，就是一种思想，那就是没有包含需要调查的内容的那些数据也有价值。具体的操作和应用需要更多知识。

学习整理，如果有错误的地方麻烦大佬指出，谢谢！