NLP-词向量、Word2vec

Word2vec

Skip-gram算法的核心部分
我们做什么来计算一个词在中心词的上下文中出现的概率?
在这里插入图片描述

似然函数

词已知,它的上下文单词的概率 相乘
然后所有中心词的这个相乘数 再全部相乘,希望得到最大

在这里插入图片描述

目标函数(代价函数,损失函数)

平均对数似然 + 转化为极小化问题

在这里插入图片描述

最小化目标函数 J(θ) <==> 最大化预测的准确性

  • 为了简化数学和优化,每个单词都用两个向量表示
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值