码哥来了的博客

虽然注意力机制很早就提出来了(大概是2014年)，直到今天它依然很火，几乎是所有大模型中都会用到的！

关注我Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，在NLP领域中，几乎已经全面取代了RNN；在CV领域也是大放异彩，与CNN分庭抗礼，占据了半壁江山！Transformer中没有用的RNN也没有CNN(但会用到与RNN、CNN相关的先验的知识)。Transformer网络架构能够干所有Seq2Seq (with Attention) 能干的事情，并且效果更好。