对seq2seq的一些个人理解

博主在毕设中使用seq2seq框架,通过学习和实践理解了seq2seq模型,特别是encoder和decoder的状态传递。在TensorFlow r1.1.0中,encoder的最终状态C和输出W在decode阶段的角色。遇到的问题是encoder的输出output在某些情况下显得多余,而decode_input在训练中的移位作用是为了加速训练,实际应用中可以使用全零数组。短句不需输入翻转,长句建议翻转。多实践和阅读教程有助于学习。
摘要由CSDN通过智能技术生成

因为做毕设用到seq2seq框架,网上关于seq2seq的资料很多,但关于seq2seq的代码则比较少,阅读tensorflow的源码则需要跳来跳去比较麻烦(其实就是博主懒)。踩了很多坑后,形成了一些个人的理解,在这里记录下,如果有人恰好路过,欢迎指出错误~

seq2seq图解如下:
C是状态
上图中,C是encoder输出的最终状态,作为decoder的初始状态;W是encoder的最终输出,作为decoder的初始输入。

具体到tensorflow代码中(tensorflow r1.1.0cpu版本),查阅tf.contrib.rnn.BasicLSTMCell的源码如下:

class BasicLSTMCell(RNNCell):

  def __init__
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值