深度学习
文章平均质量分 90
Glücklichste
Gesündeste
展开
-
Transformer模型有多少种变体?复旦邱锡鹏教授团队做了全面综述
自提出至今,Transformer 模型已经在自然语言处理、计算机视觉以及其他更多领域「大展拳脚」,学界也提出了各种各样基于原始模型的变体。但应看到,学界依然缺少系统全面的 Transformer 变体文献综述。复旦大学邱锡鹏教授团队的这篇综述正好弥补了这一空缺。自 2017 年 6 月谷歌发布论文《Attention is All You Need》后,Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里,Transformer 已经成为自然语言处理领域的主流模转载 2021-06-21 13:04:06 · 785 阅读 · 0 评论 -
[PyTorch]PyTorch的C++前端和模型部署
一.前言差不多一年前的这个时候,在狗厂实习的时候,主要用PyTorch做一些事情。那个时候针对PyTorch的模型部署问题,主要讨论ONNX。想像一下今天的DL框架格局,PyTorch,Tensorflow,Keras,Caffe,Caffe2等,持久化模型之间不兼容。常见的一种情况是,一篇论文基于不同框架写不同版本的代码。那么,很显然的一个需求是:一个框架下的模型如何可以转化为另一个框架下的模型?相关工作有一些,ONNX是其中一个,微软也做过类似工作。但是问题是总会遇到一些无法直接转换的组件。转载 2021-06-18 20:31:21 · 750 阅读 · 0 评论