【nlp】3.1 Transformer背景介绍及架构
在接下来的架构分析中, 我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作, 因此很多命名方式遵循NLP中的规则. 比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量, 它的最后一维将称作词向量等.在著名的SOTA机器翻译榜单上, 几乎所有排名靠前的模型都使用Transformer(也区分base、large、big的规模),其基本上可以看作是工业界的风向标, 市场空间自然不必多说!
复制链接