- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 Transformer 原理与代码解读(2)
原理与代码解读(2)简介代码仓库Attention模块Self-AttentionFFNAdd & Normattention中的mask bias输入输出的padding maskmasked selft attention中的biasEncoderStackDecoderStackEncodeDecode为什么要右移一位 简介 在上一篇文章中,我们详细介绍了各种不同的attention...
2019-08-10 18:15:23 1352 1
原创 Transformer 原理与代码解读(1)
目录简介为什么用TransformerRNNCNNTransformerAttentionTransformer的图示query,keys和values以及输入序列的矩阵表示attention score的矩阵表示 简介 自从2014年seq2seq被提出以来,encoder和decoder框架一直被广泛用于各类生成任务,其中最有代表性的就是机器翻译。而encoder和decoder所使用的基础模...
2019-08-10 14:36:55 1820
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人