本文深入探讨了Word2Vec中的两种关键模型——CBOW和Skip-Gram。CBOW模型采用上下文词来预测目标词，而Skip-Gram则是反过来，用目标词预测上下文词。NCE技术在训练过程中用于减少计算量。CBOW是‘一个老师教多个学生’，而Skip-Gram则是‘一个学生面对多个老师’的训练模式。这两种模型都致力于将文本转化为向量表示，为后续的自然语言处理任务提供基础。
CBOW多预测少
Skip-Gram少预测多
NCE技术，在计算loss和反向传播的时候只考虑部分的负样本， 节约计算量
在CBOW，我们的X数据每行有前后N个词语，Y中只有1个词； 而在Skip-Gram，X数据只有1个词，Y也只有1个词。
skip-gram里面，每个词在作为中心词的时候，实际上是 1个学生 VS K个老师，K个老师（周围词）都会对学生（中心词）进行“专业”的训练
cbow是 1个老师 VS K个学生，K个学生（周围词）都会从老师（中心词）那里学习知识，但是老师（中心词）是一视同仁的，教给大家的一样的知识
cbow和skip-gram都是在word2vec中用于将文本进行向量表示
句向量
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
