NMT、enc-dec的一些笔记

传统的Encoder-Decoder

1、在编码的时候,接收输入X=x1,x2,,xT,生成context vector C
2、训练阶段,在解码的时候

2.1、从C出发预测y^1,再依次用y^i1预测y^i即使用预测的Y^而不是真实值Y,这样的做法就是让模型自己去学习。这样容易产生误差累积的问题,导致模型学习收敛比较慢。

2.2、如果每次使用真实值的yi1来作为输入生成预测值y^i,这样的做法就是teacher forcing,也就是加入教师强制指导,这样的好处就是更快的收敛,但是更偏向于单个正确值预测,而在测试的时候这种教师信息是没有的,因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例,作为两种方式的折中

阅读更多
个人分类: 论文笔记
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭