transformer
文章平均质量分 90
Github_Yue
这个作者很懒,什么都没留下…
展开
-
Transformer学习总结二
这一总结主要是基于上一个对transformer的理解,对复旦大学这篇论文https://arxiv.org/pdf/2012.15840.pdf的个人解读。1.segmentation transformer整体结构:图1:(a)首先将图像分割为固定尺寸的块(patches),对所有块进行线性标记,并加入位置标记,将其结果序列喂入标准的transformer编码器。为了进行逐像素的分割,我们介绍了不同的解码器设计:(b)渐进式上采样(SETR-PUP)©多级特征聚合(SETR-MLA)将原创 2021-06-23 18:09:58 · 421 阅读 · 0 评论 -
Transformer学习总结一
Transformer的基本原理1.transforemr整体结构比如在机器翻译中需要将法语翻译为英语探究transformer的内部,可以分为encoder和decoder两部分再展开一点,Encoder由很多(6个)结构一样的Encoder堆叠(stack)而成,Decoder也是一样。如下图所示。注意:每一个Encoder的输入是下一层Encoder输出,最底层Encoder的输入是原始的输入(法语句子);Decoder也是类似,但是最后一层Encoder的输出会输入给每一个Decoder原创 2021-06-23 11:04:14 · 392 阅读 · 0 评论