论文笔记:Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

深度学习中的attention机制:
https://blog.csdn.net/guohao_zhang/article/details/79540014

机器翻译 RNN encoder-decoder
https://cloud.tencent.com/developer/news/158749

DenseNet
https://blog.csdn.net/u014380165/article/details/75142664

使用DenseNET

  1. 输入为:
    在这里插入图片描述3D stf f大小是目标单词向量和原单词向量的结合
  2. 中间网络在这里插入图片描述
  3. 输出
    由于三维feature,因此要二维折叠,也就是将s折叠起来,这样可以达到目标向量t,折叠方法用pool。
    折叠之后使用matrix E ∈ R|V|×fL 预测 output vocabulary V,得到
    在这里插入图片描述
    pi是词典v中的第i个。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值