Transformer是一个完全基于注意力机制的编解码器模型,它抛弃了之前其它模型(如RNN,LSTM,GRU等)引入注意力机制后仍然保留的循环与卷积结构,而采用了自注意力(Self-attention)机制,在任务表现、并行能力和易于训练性方面都有大幅的提高。
Transformer与attention
最新推荐文章于 2024-05-08 17:11:43 发布
Transformer是一个完全基于注意力机制的编解码器模型,它抛弃了之前其它模型(如RNN,LSTM,GRU等)引入注意力机制后仍然保留的循环与卷积结构,而采用了自注意力(Self-attention)机制,在任务表现、并行能力和易于训练性方面都有大幅的提高。