Transfromer
小宋是呢
作者简介:深度学习开发分享博主。全网粉丝3W+,阅读量200W+。
CSDN深度学习博客专家以及微信公众号《简明AI》主要作者。创作内容是基于深度学习的理论学习与应用开发技术分享,致力于最简单明了AI技术分享与最实用AI应用教程。
撰写并发表深度学习论文两篇,获得国家级及省级一等奖奖项八次,以第一作者授权实用新型及发明专利共计十余项,天池与BDCI比赛Top10奖项数次。
在某公司担任算法工程师,从事计算机视觉及时序序列数据的检测识别;深度学习工程化经验丰富,擅长针对新算法研究与应用,包括对模型调优、模型转化及多平台部署等。
展开
-
[深度学习概念]·深度学习Transformer模型介绍
深度学习Transformer模型介绍转载地址目录深度学习Transformer模型介绍 CNN RNN 核心问题Transformer结构 亮点self-AttentionMultiHead Attentionposition Encoding总结一下动机常见的seq2seq问...转载 2019-01-18 22:32:36 · 15251 阅读 · 2 评论 -
[深度学习概念]·谷歌transformer论文解读(转)
目录转载地址简介模型结构AttentionScaled dot-product attentionMulti-head attentionPositional EmbeddingAuto recursive decoding计算复杂度后续参考文献简介这篇博客的主要内容是对谷歌提出的transformer 进行论文解读,包含算法复杂度的分析。对应的...原创 2019-01-22 11:51:10 · 9006 阅读 · 3 评论 -
[深度学习概念]·注意力机制浅析(Attention is All You Need论文)
转载地址实战博客地址GitHub:https://github.com/xiaosongshine/transfromer_keras前言2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,...原创 2019-01-22 15:14:13 · 3315 阅读 · 1 评论 -
[Keras实战教程]·使用Transfromer模型做文本分类(NLP分类最佳模型)
Transfromer理论部分谷歌大脑在论文《Attention Is All You Need》中提出了一个完全基于注意力机制的编解码器模型 Transformer ,它完全抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构,然后在任务表现、并行能力和易于训练性方面都有大幅的提高。Transformer 从此也成为了机器翻译和其它许多文本理解任务中的重要基准模型。模型具体介绍...原创 2019-01-22 17:04:44 · 14377 阅读 · 54 评论