Sequence to Sequence Learning with Neural Networks模型通过条件概率实现输入序列到输出序列的转换,解决了输入输出长度不确定的问题。该模型利用LSTM解决RNN的长期依赖问题,尤其在源句翻转时表现出更好的效果,这可能由于短期依赖的引入。此外,文章还探讨了RNN在处理长期依赖时的挑战。
摘要由CSDN通过智能技术生成
Sequence to Sequence Learning with Neural Networks
1.模型
Details:
(1)条件概率: p ( y 1 , . . . , y T ′ ∣ x 1 , . . . , x T ) = ∏ t = 1 T ′ p ( y t ∣ v , y 1 , . . . , y t − 1 ) p(y_1,...,y_{T'}|x_1,...,x_T)=\prod^{T'}_{t=1}p(y_t|v,y_1,...,y_{t-1}) p(y1,...,yT
论文学习笔记03(Sequence to Sequence Learning with Neural Networks)
Sequence to Sequence Learning with Neural Networks1.模型2.模型优点,克服了什么局限(1)DNNs适用于输入和输出的向量的维度已经固定的问题,但sequence2sequence的翻译,输入和输出的句子的长度是不一定的。论文提出的模型克服了这个局限性(通过input->vector->output的形式)(2)LSTM很适...