Trm理论 2（Word2Vec）

神经网络模型（NNLM）和Word2Vec

NNLM模型是上次说过的模型，其目的是为了预测下一个词。
softmax(w2tanh(w1x + b1)+b2)
会得到一个副产品词向量
而Word2Vue就是专门求词向量的模型
softmax(w2*(w1*x + b1)+b2)

Word2Vec

softmax(w2*(w1*x + b1)+b2)，Word2vec比NNLM少了一个激活函数tanh，其原因是word2vec目的是求词向量，并不需要预测结果的准确性，只需要反向传播能正常进行即可。
Word2Vec分为两种
CBOW和skip-gram

左图是CBOM，右图是skip-gram
word2vue的目的是训练得到Q矩阵，并非预测词，因此重要的是训练过程
CBOM像是一个老师训练多个学生，skip-gram是一堆老师训练一个学生

CBOM

CBOM是用一个词的上下文预测出这个词，“这是一瓶很好喝的牢大冰红茶”，分词后，输入“这是一瓶很__牢大冰红茶”

skip-gram

skip-gram是用一个词，预测出他的上下文，输入“很好喝的”，输出“这是一瓶很__牢大冰红茶”

Word2Vec的缺点

Q矩阵的形成是由训练的数据决定的，因此当你使用训练好的Q矩阵应用于下游任务时，会出错。
举个例子，训练Q矩阵时，所有的苹果意思就是水果，而应用于下游任务的时候，我想表达苹果手机，预测就会出现相差很大的问题

word2vec的下游任务改造

word2vec得到的Q矩阵是预训练的一种
首先得到下游任务的独热编码，在使用word2vec的Q矩阵得到词向量，最后进行接下来的任务。
​

学习视频连接如下

该文章是学习b站up主水论文的程序员的笔记，链接如下可自行学习

https://www.bilibili.com/video/BV1mZ4y1q7J2/?spm_id_from=333.788&vd_source=2910693b31a0847b17a3d12d76d0e3f1

​