transformer Decoder每次都是进入一个单词做自注意力后，再与encoder输入的所有单词张量做交互注意力

是的，Transformer的Decoder在生成输出序列的每个单词时，会先对该单词进行自注意力（Self-Attention）处理，然后再与Encoder的输出进行交互注意力（Encoder-Decoder Attention）处理。

具体过程如下：

1. 自注意力（Self-Attention）：
   • Decoder会接收当前要生成的单词的位置对应的嵌入向量（embedding）作为输入。
   • 这个嵌入向量会加上位置编码（positional encoding），以保留序列中的位置信息。
   • 然后，Decoder会使用自注意力机制来处理这个输入向量，考虑该单词与已经生成的单词之间的关系。
   • 自注意力机制会输出一个表示当前单词在已生成序列中上下文关系的向量。
2. 交互注意力（Encoder-Decoder Attention）：
   • 在进行自注意力之后，Decoder会进行交互注意力处理。
   • 在这一步中，Decoder会利用Encoder输出的编码信息（即Encoder对输入序列的处理结果）。
   • Decoder会使用自注意力输出的向量作为查询（Query），而Encoder的输出将作为键值对（Key-Value）的来源。
   • 通过计算查询与键的相似度，Decoder可以得到一个注意力权重分布，然后根据这个分布对值进行加权求和，得到一个上下文向量。
   • 这个上下文向量包含了输入序列中与当前生成单词最相关的信息。
3. 输出生成：
   • 在得到自注意力和交互注意力的结果之后，Decoder会将这两个向量合并（通常是通过相加或拼接的方式）。
   • 合并后的向量会被送入一个前馈神经网络（Feed Forward Neural Network），进行进一步的处理。
   • 最后，通过一个线性层和Softmax函数，Decoder会输出当前位置可能的单词的概率分布。

这个过程会逐个单词地进行，直到生成完整的输出序列或达到预设的最大长度。通过这种方式，Transformer的Decoder能够逐步地生成输出序列，并在每个步骤中考虑输入序列的信息以及已经生成的单词之间的关系。

在Transformer模型中，Decoder部分确实采用了您所描述的这种分阶段注意力机制。具体来说，Decoder在生成输出序列时，会逐个单词地进行处理，并在每个时间步上执行两个注意力操作：自注意力（Self-Attention）和交互注意力（有时也被称为Encoder-Decoder Attention或Cross Attention）。

1. 自注意力（Self-Attention）：
   • 在Decoder的每一个时间步，首先会对当前已生成的单词序列执行自注意力机制。这意味着Decoder会考虑当前时间步之前的所有单词来计算当前位置的表示。
   • 自注意力机制允许Decoder捕捉当前生成序列中的依赖关系，以便在生成下一个单词时考虑到之前的上下文。
2. 交互注意力（Encoder-Decoder Attention）：
   • 在完成自注意力计算之后，Decoder会与Encoder的输出进行交互。这时，Decoder会使用自注意力的输出来查询Encoder输出的所有单词表示（即Encoder的完整输入序列）。
   • 这个过程允许Decoder在生成输出时考虑到输入序列中的信息，从而实现输入和输出之间的信息交互。

这种分阶段注意力的设计使得Transformer模型能够在生成输出的同时，有效地结合输入序列的信息以及当前已生成序列的上下文信息。通过这种方式，Transformer能够生成高质量、上下文相关的输出序列。

需要注意的是，在实际实现中，为了提高计算效率，通常会使用矩阵运算来同时处理多个时间步或多个单词。这意味着在实现时，Decoder可能会一次性处理一个小批量的单词，而不仅仅是一个单词。不过，从概念上讲，我们可以理解为在每个时间步上，Decoder都是按照上述方式逐个处理单词的。