论文《Distributed Representations of words and Phrase and their Compositionality》

放在开头:强推这位大神写的博客,对word2vec的原理讲的贼清楚!
博客地址1:https://www.cnblogs.com/pinard/p/7160330.html
博客地址2:http://www.cnblogs.com/pinard/p/7243513.html
博客地址3:http://www.cnblogs.com/pinard/p/7249903.html


论文首先介绍了希望实现的词向量表示能够实现 Vec(“Madrid”)-Vec(“Spain”)+Vec(“France”) = Vec(“Paris”)
Skip-gram(用中心词去预测周围2c的词) 的模型结构如下:
这里写图片描述
skip-gram模型训练的目标函数如下,对于给定的词序列w1,w2,w3….wt,其中c指的是窗口的大小。期望能最大化下面的概率值:
这里写图片描述

1,对于上式的理解可以认为里面的求和符号的作用是用来求一个词wt作为中心词时,用它来预测周围的2c个词的概率值,显然这里用了log来处理概率积的形式。
2,然后外围的求和符号的作用是求这个词序列w1,w2,w3,..wt每个词都作为中心词来预测周围词时概率加和的最大值。

然后作者说计算p(wt+j | wt)的方式是如图所示,这里反正我是没能看懂。。
这里写图片描述
但是参考文章开头的大神的博客地址2,我们可以另辟蹊径去理解这个。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值