多视图混合注意对比学习

umbrellazg

于 2024-08-09 15:35:10 发布

阅读量768

点赞数 11

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_51576139/article/details/140798652

版权

1 Title

Multi-view Mixed Attention for Contrastive Learning on Hypergraphs（Jongsoo Lee、Dong-Kyu Chae）

2 Conclusion

Most approaches currently used for learning hypergraph representations do not consider pairwise relationships between nodes. While highorder relationships provide insight into the general connections among nodes in a group, they do not reveal the pairwise relationships between individual nodes within that group. This paper proposes Multi-view Mixed Attention for Contrastive Learning (MMACL) to address the aforementioned problem. MMACL proposes Mixed-Attention, which blends highorder relationships derived from the hypergraph attention network and pairwise relationships derived from the graph attention network.

3 Good Sentences

1、
2、
3、

最近，对比学习在超图表示学习中得到了关注。它的主要思想是将语义相似(正)的数据对与不相似(负)的数据对进行对比，以学习表征，使正数据对更接近，并将负数据对分开，这在计算机视觉和自然语言处理等领域显示出高性能。

MMACL(多视角混合注意对比学习)混合(1)从一般图结构导出的节点之间的成对关系和(2)从超图结构导出的高阶关系。然后对这两种关系进行节点级的对比学习，重点关注不同的关系。

Hypergraph Attention Layer：

这一层的目标是学习节点之间的高阶关系。hypergraph注意层将hypergraph的初始节点特征作为输入。然后更新超边的表示，并聚集来自更新的超边的信息以更新节点表示。在这个超图表示学习过程中，某些节点可能提供信息，而其他节点可能不提供信息。超边也可能具有不同程度的重要性。考虑到这一点，本文设计了以下两种类型的注意机制，以确保重要节点和超边在聚合期间具有相对较高的影响力。

Hyperedge Attention：在超边的特征学习期间，聚集来自连接到每个超边的所有节点的信息。这里，超边注意机制捕获了连接到给定超边𝑒的所有节点，其中W1是可学习的参数矩阵，u是可训练的权重向量，S作为相似性函数，采用了the Scaled
Dot-Product Attention机制。

Node Attention：此后，可以通过聚集更新的超边表示来获得节点表示。W2和W3是可学习的参数矩阵。

Graph Attention Layer：

这一层的目标是学习超图中节点之间的成对关系。为了实现这一点，需要将给定的超图转换成一般的图结构。本文选择团展开W4是可学习的参数矩阵，而表示连接操作

Mixed Attention：

侧重于学习成对关系的Graph attention layer在节点特征聚合过程中混合了从hypergraph attention layer导出的高阶关注分数，反之亦然。
有了从Graph attention layer得到的成对关注度矩阵𝐺 ∈ R 和从hypergraph attention layer得到的高阶关注度矩阵𝐴和𝐵，在图关注层采用混合关注模式后最终可以得到混合关注度 $\hat{G}$ ，⊕表示逐元素求和。