-
Transformer是什么
Transformer是Google在2017年的论文《Attention Is All You Need》中所提出的一种Seq2Seq的模型,该模型完全的抛弃了以往深度学习所使用的CNN、RNN等结构而全部使用Attention结构。Transformer的效果和并行性都非常好,其作为一个整体能被用于机器翻译、语音识别、文本摘要等传统Seq2Seq被应用的领域,基于其Encoder部分所构建的Bert、基于其Decoder部分所构建的GPT都是目前NLP领域十分热门的模型。
-
Transformer的结构
工智能基础知识总结--什么是Transformer
Transformer是Google2017年提出的Seq2Seq模型,完全基于Attention,摒弃了CNN和RNN。它在机器翻译、语音识别等领域表现出色,Encoder(如BERT)和Decoder(如GPT)是NLP领域的热点。Transformer结构包含Encoder和Decoder,每个子模块由self-attention和前馈神经网络组成。self-attention通过多头注意力机制捕捉词与词间的依赖关系,提高模型的并行性和表达能力。
摘要由CSDN通过智能技术生成