encoder------decoder

笔记1：

关于：endocer的输出和decoder的输入问题做一个记录：

先给个带有注意力机制的seq2seq结构（图片来源：作者李鹏宇 注意力机制到底是什么——基于常识的基本结构介绍 - 知乎 (zhihu.com)）

在循环神经网络中，解码器的输入通常是编码器的输出。

在给定编码器的输出和先前生成的部分序列的情况下，解码器生成下一个输出。解码器的输入通常由两部分组成：

1. 先前生成的部分序列：这是解码器在每个时间步骤上已经生成的部分序列。在解码过程中，每个时间步骤都会生成一个输出，并将其添加到先前生成的序列中。

2. 编码器的输出：编码器的输出包含了输入序列的信息，其中每个时间步骤都有一个向量表示。解码器可以利用编码器的输出来理解输入序列的语义和上下文，以更好地生成下一个输出。

在解码器的第一步中，为了将先前生成的部分序列与编码器的输出相结合，解码器通常会使用嵌入层将先前生成的部分序列中的索引转换为向量表示。这样可以将先前生成的序列与编码器的输出以及其他相关信息整合在一起，为解码器提供更丰富的输入。

总结起来，解码器的输入通常是先前生成的部分序列（通过嵌入层转换为向量表示）以及编码器的输出。这样可以在解码过程中综合利用输入序列的信息来生成下一个输出。

笔记2：

在Seq2Seq模型的编码器和解码器中都可以加入注意力机制模块。

注意力机制模块的作用是在解码器生成每个输出时，根据编码器的输出和解码器的当前状态，动态地对编码器的不同部分进行加权关注。这样可以使解码器能够更好地对输入序列进行建模，提取有用的信息，并生成更准确的输出。

在编码器中使用注意力机制可以帮助解码器对编码器的不同时间步骤的隐藏状态进行加权关注，以便更好地捕捉输入序列的重要特征。

在解码器中使用注意力机制可以帮助解码器对编码器的输出进行加权关注，以便根据当前解码器的状态和输入序列的语义信息生成准确的输出。

注意力机制的加入可以提升Seq2Seq模型的性能和表达能力，使其能够更好地处理长序列和复杂任务。因此，在Seq2Seq模型的编码器和解码器中加入注意力机制是常见的做法