自然语言处理之Seq2seq的注意力机制,循环模型的问题,self-attention及Transformer结构讲解
seq2seq即通过一个RNN作为encoder将输入的源语言转化为某表征空间中的向量,再通过另一个RNN作为decoder将其转化为目标语言中的句子。问题:encoder中的最后一个隐藏状态需要保存源句的所有信息,达到了信息瓶颈Attention的机制(在seq2seq中的解释decoder关注encoder的信息)解决这一由长序列到定长向量转化而造成的信息损失的瓶颈(核心:在decoder中的每一个时间步,对encoder使用直接连接去专注于源句某个特定的部分)过程:从decoder的每一个
原创
2022-03-11 09:44:05 ·
2004 阅读 ·
0 评论