Transformer模型介绍
self-attention机制假设有这么一句话:The animal didn’t cross the street, because it was too tired.上面的句子总共11个单词。如果我们想知道第8个单词it指代的是什么,我们人很轻易的就知道它指代的是animal而不是street,但是如何让机器知道它指代的是什么呢?这时候就要用到自注意力机制self-attention。首先我们先用词嵌入word embedding的方法将这句话转化为(l,d) 维的向量,假设每个词用512个维度
原创
2021-05-24 19:23:37 ·
1300 阅读 ·
0 评论