skip-gram模型

Skip-gram模型原理参考链接：https://blog.csdn.net/rlnlo2pnefx9c/article/details/78747970

skip-gram模型原理

Skip-gram模型的输入为一个单词，输出为窗口大小h中各个单词的概率，如下图所示。

例如对于句子I always go to work by bus，对于单纯work，窗口大小2包括的单词为go，to，by，bus；训练输入的数据集为{x=work，y=go}、{x=work，y= to}、{x=work，y= by}、{x=work，y= bus}
由于字符串无法直接作为模型的输入输出，需要对字符串进行编码，将单词表示成一个one-hot向量，向量的维度为字典的单词量，如果训练词典包含10000个单词，那么单词编码为10000维的，单词对应的位置值为1，其他位置值为0，如下图所示。其中，隐层的作用是对输入向量进行特征提取，隐层的行数为10000，列数为特征数，特征数可调。

因为ont-hot编码只有一维非0，词向量与权值W1相乘，W1的维度为10000300，得到特征维度为1300，特征与权值W2相乘（权值共享），经Softmax后得到每个词的概率。

skip-gram模型优化

当训练词较多时，权值的维度较高，参数多，需要大量的数据进行参数训练。需要对模型进行优化
1，在他们的模型中将常见单词对或短语视为单个“单词”。
2，对频繁的词进行抽样以减少训练样例的数量。
3，使用他们所谓的“负抽样”技术来修改优化目标，使得每个训练样本只更新模型权重的一小部分。

skip-gram模型实现

一般我们的模型都是由以下两步构成，第一步是构建图，第二步是执行图。参考以下链接
https://blog.csdn.net/stalbo/article/details/79255462
https://blog.csdn.net/qq_24003917/article/details/80390005
https://github.com/NELSONZHAO/zhihu