14.2.1 负采样

一些本人的理解如下:
事件\(D|w_c,w_o\)的意思是以\(w_c\)作为中心词,\(w_o\)是否来自其上下文,若\(D=1\)则表示来自,否则表示不来自
\((14.17)\)也比较好理解,两个词向量的内积可以衡量两个的相似程度(长度以及夹角)
文中“正样本的事件”指的是\(D=1\);“词向量等于无穷大”指的是如果模型直接令所有词向量的每个元素的值都是无穷大的时候,式\((14.18)\)就最大了,但是这个样子显然没有意义
负采样的思想是基于我们可以人为设定似然函数。以前的似然函数只包含了“出现了什么”(\(D=1|w_c,w_o\)),我们还可以添加项“没有包含什么”(\(D=0|w_c,w_o\))
但是为什么不直接令条件概率为\(\text{Sigmoid}\)函数呢?这一点有点不解

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值