最近在学这篇文章方法,有些NLP的内容没接触过,先记录一下看到比较好的博客帮助理解。
关于 Q, K, V向量的理解: 自注意力的另一种解释就是在编码某个单词时,就是将所有单词的表示(值向量)进行加权求和,而权重是通过该词的表示(键向量)与被编码词表示(查询向量)的点积并通过softmax得到。
最近在学这篇文章方法,有些NLP的内容没接触过,先记录一下看到比较好的博客帮助理解。
关于 Q, K, V向量的理解: 自注意力的另一种解释就是在编码某个单词时,就是将所有单词的表示(值向量)进行加权求和,而权重是通过该词的表示(键向量)与被编码词表示(查询向量)的点积并通过softmax得到。