nn.Linear与nn.Embedding的区别?

先上结论:
nn.Linear就是nn.Embedding

验证过程如下:

  1. 导入必要包
  2. 实例化 embedding, fc,以及需要输入到embed和fc的数据(这里用了onehot生成数据,实际情况输入可以为任意数据)
  3. 将数据输入到embed,查看结果
  4. 手动验证embed的计算过程:(输入数据 X weight,这里的X代表矩阵乘法)
  5. 将全连接成的参数设定为 embed的权重,用来确定fc和embed的内部处理流程是否一样
  6. 结果表明,embed和fc是一样的

Note: fc和embed的权重略有差别, fc.weight = embed.weight.T ,是个转置的区别,pytorch给的公式就是这样。

在这里插入图片描述
jupyter的第3和第5个cell可以确定,Embedding和FC输出的结果是相同的。第4个cell是手动验证Embedding的计算过程


2022.8.24更新
最近在看重参数的内容,无意中又找到了关于 Embedding的介绍,直接挂链接
词向量与Embedding究竟是怎么回事

虽然说从运算过程来说,nn.Embedding与nn.Linear几乎相同,但是nn.Embdding的层的参数是是直接对应于词的表征的,这和nn.Linear还是有本质区别的。

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值