Harvard NLP The Annotated Transformer 学习

最新推荐文章于 2024-08-20 21:46:53 发布

段智华

最新推荐文章于 2024-08-20 21:46:53 发布

阅读量1.5k

点赞数 1

分类专栏： AI & Big Data案例实战课程文章标签： transformer pytorch 深度学习

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/87426913

版权

AI & Big Data案例实战课程专栏收录该内容

167 篇文章 337 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何复现Google的Transformer论文，该模型在机器翻译和其他NLP任务中表现出色。Harvard NLP的作者提供了逐行注释的400行PyTorch代码，可在4个GPU上高效运行。代码基于OpenNMT包，并提供了在Github上的资源链接，适合研究人员和开发者学习。

摘要由CSDN通过智能技术生成

Harvard NLP The Annotated Transformer 复现Google公司的Transformer论文

“Attention is All You Need” 的Transformer 在过去的一年里一直在很多人的脑海中出现。Transformer在机器翻译质量上有重大改进，它还为许多其他NLP任务提供了一种新的体系结构。论文本身写得很清楚，但传统的看法是论文很难准确的去实现。在这篇文章中，Harvard NLP的原作者在2018年初以逐行实现的形式呈现了论文的“注释”版本，总共有400行代码，可以在4个GPU上每秒处理27000个标识。您首先需要安装PyTorch，notebook可以在Github或谷歌Colab（免费提供GPU）上使用。注意，这仅仅是研究人员和感兴趣的开发人员的起点。这里的代码主要基于Harvard NLP的OpenNMT包。对于模型的其他完整服务实现，请查看tensor2tensor（tensorflow）和Socketeye（mxnet）。
原作者：Alexander Rush (@harvardnlp or srush@seas.harvard.edu), with help from Vincent Nguyen and Guilla