NMT、enc-dec的一些笔记

传统的Encoder-Decoder

1、在编码的时候,接收输入X=x1,x2,,xT,生成context vector C
2、训练阶段,在解码的时候

2.1、从C出发预测y^1,再依次用y^i1预测y^i即使用预测的Y^而不是真实值Y,这样的做法就是让模型自己去学习。这样容易产生误差累积的问题,导致模型学习收敛比较慢。

2.2、如果每次使用真实值的yi1来作为输入生成预测值y^i,这样的做法就是teacher forcing,也就是加入教师强制指导,这样的好处就是更快的收敛,但是更偏向于单个正确值预测,而在测试的时候这种教师信息是没有的,因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例,作为两种方式的折中

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试