Transformer
文章平均质量分 85
Murphy799
这个作者很懒,什么都没留下…
展开
-
李宏毅transformer学习总结(二)Seq2Seq Model
在我的第一篇徐熙总结中,提出了self-attention机制,的基本原理和概念,这篇文章将会介绍Seq2Seq的model。 什么是Seq2Seq呢,就是你的输入是一串序列,输出也是一串序列,但是这串序列的个数与你的输入是没有直接关系的,比如说语音转文字,加入我们的输入是It’s a funny today,我们希望得到的输出是’今天真有趣‘,这个输入和输出是没有直接关系的。 Seq2Seq可以用来处理语音文字的转换、实现多分类任务(就是一个object身上有很多标签,比如我’有头发‘,也’有睫毛‘之类,原创 2021-10-13 20:50:30 · 462 阅读 · 0 评论 -
李宏毅transformer学习总结(一)Self-Attention机制
李宏毅transformer学习总结(一)Self-Attention机制Self-Attention机制上下文信息的引入如何加入上下文信息引入上下文带来的问题:计算量与其他神经网络的比较CNN:RNN:总结 最近transformer在cv行业大火,在数据量充足的情况下,各项指标力压CNN。我比较好奇transformer是如何工作的,于是去看了李宏毅老师的机器学习课程,在此帖写下自己的感悟和心得。 Self-Attention机制 讲到transformer,就不得不先学习Self-Attention的原创 2021-10-13 11:38:26 · 657 阅读 · 0 评论