word2vec skip-gram

关于输入,表面来看是一个onehot,例如训练文本有10000个不重复的单词,每个单词是10000维的onehot。e嵌入矩阵是10000300维的,初始化一个后通过训练找到最好的e。网络的目的是找到一个最好的e。
在这里插入图片描述
e就是上图的W
貌似无数地方都漏过了到底是怎么进行的
输入10000维向量乘e(10000
300维)变成300维的隐含层 然后经过300*10000维的w·向量变成10000维的输出向量 通过softmax得到每个位置的单词(onehot中每个位置代表一个单词)是输出单词的概率与真正的输出单词的onehot做损失函数来调整参数。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值