理解Glove和Word2vec

最新推荐文章于 2023-10-25 00:33:34 发布

微笑定格在那一刻

最新推荐文章于 2023-10-25 00:33:34 发布

阅读量550

点赞数

文章标签： word2vec 机器学习人工智能

本文链接：https://blog.csdn.net/weixin_42313071/article/details/125616977

版权

Word2vec分为两个可实现的模型：CBOW和Skip-gram
CBOW是用周围词预测中心词训练文本得到具有相似关系的矩阵
在这里插入图片描述
Skip-gram是用中心词预测周围词
在这里插两个模型比较入图片描述

两个模型的比较]
举例说明这两个模型的区别：课堂教学和家教的区别

CBOW用周围词预测中心词相当于4个学生(周围词)和一个老师(中心词)的关系，一个老师给4个学生教书，老师的方法是统一的，对每个学生都是平等对待，没有对谁特殊照顾，老师教的知识(周围词)学生们能吸收多少(中心词)要看这一轮的结果，如果达不到要求就要再进行下一轮学习。这种方法速度快，但是准确度不高
Skip-gram用中心词预测周围词相当于4个老师(周围词)教一个学生(中心词)的关系，四个老师根据自己的特长对一个学生进行辅导，这样学生吸收的知识就会更多，准确度高，但是这种方法速度慢
优化方法

为了提高速度，Word2vec 经常采用 2 种加速方式：

Negative Sample（负采样）
Hierarchical Softmax
理解Glove
链接：https://zhuanlan.zhihu.com/p/347131249
glove使用及此表文件详解
原文链接：https://blog.csdn.net/ycq1041265011/article/details/110139729

文章总结来源于
(https://img-blog.csdnimg.cn/916de3a6b1e0437dbe56aa2245ce16eb.png)
https://zhuanlan.zhihu.com/p/347131249