【1月学习进度1/31——论文阅读01】“Attention is All You Need”——Transformer模型
论文:Attention is All You Need
视频详解Transformer模型
(以下截图大部分来自于该视频)
论文逐段精度视频
0. 引言
1)为了解决什么任务
Transformer是为了解决机器翻译(machine translation tasks)任务提出的一种序列转录模型(sequence transduction model),序列转录即由序列1生成序列2。
2)序列建模与序列转录问题的研究状况
在Transformer提出之前的主流模型大都基于复杂循环或“编码-解码”结构
原创
2022-01-04 17:53:46 ·
994 阅读 ·
2 评论