http://blog.csdn.net/itplus/article/details/37969635
原始的skip-gram是一种计算语言模型。
看题目中说要训练得到词向量，猜测题目里的skip-gram指的是类似于word2vec中的skip-gram 。那么就以word2vec中的经典模型skip-gram negative sampling来举例说明：
word2vec中的skip-gram negative sampling就是采用skip-gram策略用SGD算法优化以下这个目标函数：
![\max_{\forall \mathbf{w}, \mathbf{c}} \sum_{w\in V_w} \sum_{c\in V_c} \#(w,c) [ \log \sigma(\mathbf{w}^T\mathbf{c}) + k E_{c_N\sim P_{\mathcal{D}}} (\log \sigma(-\mathbf{w}^T\mathbf{c})) ]]()
这里，![\mathbf{w}]()
就是词向量，
![w]()
是词语，
![c]()
是
![w]()
的上下文（本质上也是词语），
![\#(w,c)]()
是
![c]()
出现在
![w]()
上下文中的次数。
前面提到『采用skip-gram策略用SGD算法优化』具体来说，就是直接从头到尾扫一遍文档，对每一个位置都使用skip-gram构造多个![w]()
![c]()
词对，并对目标函数的一个分量
![\log \sigma(\mathbf{w}^T\mathbf{c}) + k E_{c_N\sim P_{\mathcal{D}}} (\log \sigma(-\mathbf{w}^T\mathbf{c}))]()
中的两个部分都做梯度下降，并且这里的期望
![E_{c_N\sim P_{\mathcal{D}}}]()
采用采样
![k]()
次来近似，由于采样出的样本可以看做负样本，所以叫做negative sampling。
优化结束后，得到每个词![w]()
的词向量
![\mathbf{w}]()
。
看题目中说要训练得到词向量，猜测题目里的skip-gram指的是类似于word2vec中的skip-gram 。那么就以word2vec中的经典模型skip-gram negative sampling来举例说明：
word2vec中的skip-gram negative sampling就是采用skip-gram策略用SGD算法优化以下这个目标函数：
这里，
前面提到『采用skip-gram策略用SGD算法优化』具体来说，就是直接从头到尾扫一遍文档，对每一个位置都使用skip-gram构造多个
优化结束后，得到每个词
作者：li Eta
链接：http://www.zhihu.com/question/29894719/answer/92783887
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
扫一扫
1635
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
