词嵌入(Word2vec) word2vec工具包含两个模型,即跳元模型(skip-gram)和连续词袋(CBOW),对于在语义上有意义的表示,它们的训练依赖于条件概率,条件概率可以被看作是使用语料库中一些词来预测另一些单词。由于是不带标签的数据,因此跳元模型和连续词袋都是自监督模型。 跳元模型(Skip-Gram) 数学描述 数学描述中,不太懂14.1.5的公式描述 训练 连续词袋模型(CBOW) 数学描述 连续词袋模型假设中心词是基于其在文本序列中的周围上下文词生成的 数学描述如下: 训练