超级会员免费看
本文介绍了Word2Vec的CBOW和Skip-gram模型，以及Hierarchical Softmax和Negative Sampling两种优化方法。Word2Vec通过上下文预测单词，而LDA则是基于概率图模型的主题聚类。两者主要区别在于模型结构和目标函数，Word2Vec侧重上下文共现特征，LDA侧重主题分布。
Word2Vec：Word2Vec是如何工作的？它和LDA有什么区别与联系？
场景描述
Google2013年提出的Word2Vec是目前常用的词嵌入模型之一。Word2Vec实际上是一种浅层的神经网络模型，它有两种网络结构，分别是CBOW（Continues Bags of Words）和Skip-gram。
知识点：Word2Vec， 隐狄利克雷模型（LDA）、CBOA、Skip-gram
问题：Word2Vec是如何工作的？它和LDA有什么区别与联系？
分析与解答
CBOW的目标是根据上下文出现的词语来预测当前词的生成概率，如下图1.3(a)所示；而Skip-gram是根据当前词来预测上下文中各词的生成概率，如下图1.3(b)所示。
其中
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
