三元组中的自注意力机制&多头自注意力机制
自注意力机制以上是自注意力机制的基本原理。在知识图谱的三元组中可以将图中的(i,j,k)当作一组三元组的初始embedding(头,尾,关系)那么对三元组的初始表示则是使用一个线性变矩阵=*(i,j,k)。然后对经过一个非线性层获得,计算出的每个并不是在(0~1)之间的,所以还需要对输入的所有通过softmax计算 计算出的就是每个三元组在这一组输入中的注意力值,也可以当作每个三元组的权重。如何生成头节点...
原创
2022-03-09 11:17:02 ·
5916 阅读 ·
0 评论