Transformer 传统的RNN问题: 1.不能并行 2.self-attention机制来进行并行计算,在输入和输出都相同 Attention 对一个词进行编码时,不仅只考虑该词,还要考虑该词的上下文语境。 1:self-attention如何计算? Decoder