学习笔记
只是自己的学习笔记,只把自己要记忆的知识写下来。
简单理解的链接: word2vec是如何得到向量的
word2vec的准备操作:中文需要将每句话用工具分词(jieba等)
word2vec的作用:是将语料库中的词训练出各自的词向量,供NLP其他后续具体任务的使用。
word2vec的处理方法:两种训练方法CBOW模型和Skip-gram模型。]
word2vec的算法加速方法:Negative Sample与Hierarchical Softmax
1.CBOW模型根据中心词W(t)周围的词来预测中心词
2.Skip-gram模型则根据中心词W(t)来预测周围词
上图中两个矩阵是CBOW模型要不断学习迭代的: W v ∗ n W_{v*n} W