![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Transformer
文章平均质量分 88
Galaxy.404
这个作者很懒,什么都没留下…
展开
-
Transformer模型:scaled self-attention mask实现
至此,难点集合就学习完了。这里其实就是公式计算。原创 2024-07-14 16:06:45 · 212 阅读 · 0 评论 -
Transformer模型:Decoder的self-attention mask实现
这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。原创 2024-07-14 15:46:59 · 801 阅读 · 0 评论 -
Transformer模型:intra-attention mask实现
前言这是对Transformer模型的Word Embedding、Postion Embedding、Encoder self-attention mask内容的续篇。原创 2024-07-14 14:55:53 · 993 阅读 · 0 评论 -
Transformer模型:Encoder的self-attention mask实现
这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。原创 2024-07-13 22:57:00 · 1008 阅读 · 0 评论 -
Transformer模型:Postion Embedding实现
这是对上一篇WordEmbedding的续篇PositionEmbedding。原创 2024-07-13 17:04:24 · 1215 阅读 · 0 评论 -
Transformer模型:WordEmbedding实现
接下来就是构造embedding了,这里nn.Embedding()传入了两个参数,第一个是embedding的长度,也就是单词个数+1,+1的原因是因为有个0是作为填充的,第二个参数就是embedding的维度,也就是一个单词会被映射为多少维度的向量。这里把tgt的也补充了,得到的就是src和tgt的内容各自在一个二维张量里(batch_size,max_seg_len),batch_size也就是句子数,max_seg_len也就是句子的单词数(分为src的长度跟tgt两种)。原创 2024-07-12 17:38:57 · 1409 阅读 · 0 评论