为什么Transformer会出现位置编码(Positional Encoding)?
为什么Transformer会出现位置编码(Positional Encoding)? Transformer被提出首先应用在NLP领域,处理的数据对象为语言的序列数据,既然是序列数据,则序列的顺序对于语言的表达是至关重要的。在这之前,RNN已经被提出用于解决NLP中的机器翻译、文本生成等任务,且RNN是按照序列顺序逐个对句子中的单词进行处理,使得序列的顺序自然而然地保存在模型中。而Transformer的输入是将句子中的所有单词一次性输入到网络中进行学习,这使得序列的顺序信息丢失。因此我们需要通过其他
原创
2021-07-16 22:01:58 ·
2205 阅读 ·
2 评论