lining9508的博客

Transformer 是一种深度学习模型架构，首次在 2017 年由 Vaswani 等人在论文《Attention is All You Need》中提出。它广泛应用于自然语言处理（NLP）任务，如翻译、文本生成、问答等，以及图像处理和其他领域。其一经提出便产生了较大的反响，在文本生成GPT、语言翻译GNMT、语言建模BERT、 视觉Vision Transformer（ViT）等都有应用，并且取得了很好的成绩。