pytorch
文章平均质量分 90
shange19
这个作者很懒,什么都没留下…
展开
-
详解seq2seq模型中的attention机制,并利用LuongAttention搭建中英机器翻译!
先从我的理解概括Attention机制:在面对一句话时,人们一般不会整句都看完再去理解其意义(如果这个句子较长)。在seq2seq模型中,一整个句子当作输入会给网络带来困扰,并且很有可能丢失序列中靠前的信息。而在decoder模型的输入时,我们同样利用context替换原本的输入。context则是利用这句话学习得到的权重乘以这句话,得到一个新的context。将contex与这句话相拼接,输入网...原创 2019-10-25 22:48:14 · 1959 阅读 · 1 评论 -
pytorch中关于pack_padded_sequence和pad_packed_sequence的解释。
已经有人解释的比较详细了,参考了一些我写在下面: 总结就是一句话:以batch为一个单位,对补齐后的batch进行压缩计算最后解压。减少这个batch中大量pad对输出的影响。 参考:https://zhuanlan.zhihu.com/p/34418001 https://www.cnblogs.com/lindaxin/p/8052043.html 如果已经看过类似解释的同学,可以直接...原创 2019-10-18 16:09:20 · 1884 阅读 · 1 评论