Transformers in NLP (一):图说transformer结构
从transformer开始,nlp的模型渐渐开始成为了transformer一族的天下,所以想写一个系列聊一聊在nlp中那些运用transformer的模型。作为这个系列的第一篇,就从大名鼎鼎的transformer结构开始。一、编码器(encoder)与解码器(decoder)最早提出transformer的文章是attention is all you need,研究的nlp的任务是翻译,自然而然就借鉴了seq2seq的翻译结构,有了编码器(encoder)和解码器(decoder)。正如下面
原创
2020-05-13 23:08:20 ·
2745 阅读 ·
0 评论