![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
attention机制
盖世英雄
这个作者很懒,什么都没留下…
展开
-
Attention is all you need源码学习1
Process.pymain函数中有关命令行输入的代码def main(): ''' Main function ''' #1.命令行运行时需要传入的参数required=True为必须传入的 parser = argparse.ArgumentParser() parser.add_argument('-train_src', required=True...原创 2019-06-27 17:37:47 · 562 阅读 · 0 评论 -
Attention is all you need源码学习3
先用structure看一下code的整体架构阿整体架构,如下图所示:我理解的这部分框架是酱的,也有可能不对辣,尽力去理解了,有问题请指出,下图所示:接下来就看看代码吧~Models.pyTransformer搭建transformer模型,文章的模型如图所示:搭建的代码继承了pytorch的nn.model,写法固定,分为两部分:1.__init__定义网络中的参数和模型框架;...原创 2019-07-03 16:29:17 · 563 阅读 · 1 评论 -
Attention is all you need源码学习2
**train.py**import argparseimport mathimport timefrom tqdm import tqdmimport torchimport torch.nn.functional as Fimport torch.optim as optimimport torch.utils.dataimport transformer.Consta...原创 2019-06-28 17:05:29 · 775 阅读 · 1 评论