Transformer
hupengcheng1993
这个作者很懒,什么都没留下…
展开
-
Transformer 原理与代码解读(1)
目录简介为什么用TransformerRNNCNNTransformerAttentionTransformer的图示query,keys和values以及输入序列的矩阵表示attention score的矩阵表示简介自从2014年seq2seq被提出以来,encoder和decoder框架一直被广泛用于各类生成任务,其中最有代表性的就是机器翻译。而encoder和decoder所使用的基础模...原创 2019-08-10 14:36:55 · 1811 阅读 · 0 评论 -
Transformer 原理与代码解读(2)
原理与代码解读(2)简介代码仓库Attention模块Self-AttentionFFNAdd & Normattention中的mask bias输入输出的padding maskmasked selft attention中的biasEncoderStackDecoderStackEncodeDecode为什么要右移一位简介在上一篇文章中,我们详细介绍了各种不同的attention...原创 2019-08-10 18:15:23 · 1345 阅读 · 1 评论