自然语言处理 Notes

10.3 word2vec

• 二次采样试图尽可能减轻高频词对训练词嵌入模型的影响。

10.4. 子词嵌入（fastText）

10.5. 全局向量的词嵌入（GloVe）

• 在有些情况下，交叉熵损失函数有劣势。GloVe模型采用了平方损失，并通过词向量拟合预先基于整个数据集计算得到的全局统计信息。

词嵌入的下游应用：

搜索近义词 和 类比词 、文本分类（text classification） -- 如：情感分析（sentiment analysis ）

 

textCNN

 

Seq2Seq

 

10.10. 束搜索

• 预测不定长序列的方法包括贪婪搜索、穷举搜索和束搜索。
• 束搜索通过灵活的束宽来权衡计算开销和搜索质量。

Attention