SGMEA: Structure-Guided Multimodal Entity Alignment

3 Method

3.1 Problem Definition

3.2 Framework Description

总体框架如图2所示，由三个主要部分组成：初始嵌入采集模块、结构引导模块和模态融合模块。

3.3 Initial Embedding Acquisition

3.3.1 Structural Embedding

3.3.2 Relation, Attribute, and Visual Embedding 

3.4 Structure-guided

3.4.1 Structure-Guided Visual Embedding

3.4.2 Structure-Guided Attribute Embedding

3.4.3 不对关系应用结构引导的原因

我们选择不对关系应用结构引导，因为关系天然存在于两个相邻实体之间，并且已经通过它们的交互明确地建模。在图结构中，关系自然捕捉实体间的语义信息，因此额外的 GAT 引导是没有必要的。与属性或图像嵌入相比，关系的表示已经足够稳健，进一步的引导可能会引入冗余，或对模型性能产生负面影响。

3.5 Modality Fusion

在本模块中，我们遵循Chen等人（2023a）对vanilla Transformer进行调整（Zhou等人，2021）

3.5.1 Modal representation generation and interaction

 3.5.2 Multi-head cross-attention and processing

3.5.3 Fusion representation generation

 3.6 Optimization Objective