Transformer
文章平均质量分 86
啥也不是的py人
这个作者很懒,什么都没留下…
展开
-
Transformer 中-英运行和简单理解(二)
1.输入的句子拆成单词,比如输入 i love u分成 i love u三个单词。7.第二个单词输出 爱的概率最高,然后将爱作为输入输入到transformer中。就是把512维度的embeding分成8*64个来做attention。句子中的每个单词都独立地进入self-attention。这样可以捕捉到每个单词对应整句话中跟其他八个单词的关系。4.然后就可以输出每个单词对应其他语种里改率最高的词。可以看到下面句子中的 it 的意思并不相同。每个输入单词被映射到512维的向量上。原创 2023-04-04 18:20:54 · 463 阅读 · 1 评论 -
Transformer Tutorials 最全入门详细解释(一)
你可以简单理解为它是一个黑盒子,当我们在做文本翻译任务是,我输入进去一个中文,经过这个黑盒子之后,输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢?里面主要有两部分组成:Encoder 和 Decoder当我输入一个文本的时候,该文本数据会先经过一个叫Encoders的模块,对该文本进行编码,然后将编码后的数据再传入一个叫Decoders的模块进行解码,解码后就得到了翻译后的文本,对应的我们称Encoders为编码器,Decoders为解码器。原创 2023-03-23 16:00:35 · 1519 阅读 · 0 评论