nlp3

我们知道，Word2vec 本质上是一个语言模型，它的输出节点数是 V 个，对应了 V 个词语，也是一个多分类问题，但实际当中，词语的个数非常非常多，直接softmax来计算会给计算造成很大困难，所以需要用技巧来加速训练，下面就介绍word2vec对应的两个加速技巧hierarchical softmax和negative sampling。注意：这两个技巧只是加速训练的技巧

Negative Sampling
第二种加速策略是Negative Sampling（简写NEG，负采样），这是Noise-Contrastive Estimation（简写NCE，噪声对比估计）的简化版本：把语料中的一个词串的中心词替换为别的词，构造语料 D 中不存在的词串作为负样本。本质上就是一个预测全部分类的变成预测总体类别的子集的方法。在这种策略下，优化目标变为了：最大化正样本的概率，同时最小化负样本的概率。对于一个词串 [公式] （ c 表示 w 的上下文），用二项Logistic回归模型对其是正样本的概率建模：

介绍下不同种类的attention:1. hard 和soft的 2. local和global 3. 单头self-attention和muti- head attention 4. 基于memory的attention

不同类型的attention