Skip-Gram模型
根据中心词，预测或生成它的上下文单词。
比如，根据jumped，预测或生成{“the”,“cat”,“over”,“the”,“puddle”}。
显然，交换CBOW模型的x和y，Skip-Gram模型的输入是中心词的one-hot向量x，定义输出为 。词向量矩阵V和U和CBOW模型相同。它的模型训练同样有以下6步：
1，生成以one-hot向量表示，中心词c的词向量x；
2，初始化矩阵V，生成模型的输入词向量 ；
3，因为输入只有1个中心词，无需均值化，即
Skip-Gram模型和负采样
最新推荐文章于 2022-09-05 11:31:16 发布
本文介绍了Skip-Gram模型，它基于中心词预测上下文单词，通过6步训练过程实现。同时讨论了负采样技术，用于优化损失函数，通过采样低频词提高效率。负采样的目标函数旨在最大化真实样本的概率，最小化错误样本的概率，使用sigmoid函数进行建模。
最低0.47元/天 解锁文章
扫一扫
2129
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
