论文浅尝 | Hybrid Transformer Fusion for Multimodal KG Completion

最新推荐文章于 2025-03-22 02:53:37 发布
最新推荐文章于 2025-03-22 02:53:37 发布
阅读量1.4k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/128124888
版权
本文介绍了MKGformer框架，该框架通过M-Encoder实现视觉Transformer和文本Transformer的多层级融合，解决多模态知识图谱补全的通用性和模态噪声问题。M-Encoder包含前缀引导交互模块（PGI）减少模态异构性，以及关联感知融合模块（CAF）降低对无关图像的错误敏感性。实验结果显示，MKGformer在多模态链接预测和关系抽取任务上表现出优越性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

9c5bc60f37035a15929d5a3ed099c8bd.png

笔记整理：陈子强，天津大学硕士，研究方向为自然语言处理

论文链接：https://arxiv.org/pdf/2205.02357.pdf

动机

尽管多模态知识图谱补全较单模态知识图谱补全已经有了很大的改进，但仍然存在两个限制。（1）架构的通用性。不同的多模态知识图谱补全需要在不同的编码器架构之上建立特定的、单独参数化的融合模块。因此需要一个统一的模型用于各个多模态知识图谱补全任务。（2）模态噪声。当前的大部分多模态知识图谱，一个实体对应于多个图像，部分图像与实体无关，甚至包含大量噪声。

方法

针对动机中提到的两点不足，文章的方法分布两部分：

（1）论文提出提出MKGformer框架，用M-Encoder将视觉Transformer和文本Transformer进行多层级融合。可以构建一个通用的多模态知识图谱补全框架。

（2）对于模态包含的噪声信息。首先，在M-Encoder的自注意力模块提出一个粗粒度的前缀引导交互模块，为下一步减小模态异构性做好准备。其次，在M-Encoder的前馈神经网络部分提出关联感知模块，获取细粒度的图文表示，降低对无关图像的错误敏感性。

最低0.47元/天 解锁文章
A Text-Enhanced Transformer Fusion Network for Multimodal KnowledgeGraph Completion
weixin_44466434的博客
11-05 1100
1
读论文：Multimodal Transformer for Unaligned Multimodal Language Sequences
weixin_60150713的博客
07-17 1155
多模态人类语言时间序列数据建模的两个主要挑战：1）由于每个模态序列的采样率可变而导致的固有数据未对齐；2）跨模态元素之间的长期依赖关系。引入了多模态转换器 (MulT) 以端到端的方式通用解决上述问题，而无需显式对齐数据。模型的核心是定向成对跨模态注意，它关注跨不同时间步长的多模态序列之间的交互，并潜在地将流从一个模态适应到另一个模态。
weighted_hybrid_transformer：一种编码器-解码器变压器模型，可以通过几种训练变体进行实验
02-13
weighted_hybrid_transformer 在“开放字幕”数据集上进行训练的编码器-解码器变压器模型。 变压器有四个变体，可以“混合”，“加权”，“ weighted_plus”和“基线”使用。 “混合”模型是一个多任务转换器，除了执行响应生成外，还执行响应检索和重新排序任务。 “加权”和“加权加”模型对高频词的交叉熵损失应用修饰符，以减少其在数据集中过分表达的影响，并在理论上减少模型的产生。 “基准”是没有上述任何一项的常规变压器。 所使用的特定变压器架构在很大程度上是Vaswani等人（2017） 变压器的较小版本。 依存关系： 张量流> = 2.3.1 nltk> = 3.5 数据集> = 1.2.0 胭脂> = 1.0.0 这些文件可以通过Trainer类进行操作。 实例化Trainer类时，可以更改有关模型超参数的特定详细信息。 见下文： trainer
Hybrid Transformer and CNN Attention Network forStereo Image Super-resolution
左右-HPU
07-18 806
立体图像超分辨率：旨在从给定的低分辨率左右视图图像重建高分辨率图像。单图像超分辨率：旨在从给定的低分辨率主视图图像重建高分辨率图像。
Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析
最新发布
李白
03-22 665
1.LLM基础架构类型。
pytorch实现vision_transformer_hybrid
AI浩
02-21 1385
github地址：https://github.com/rwightman/pytorch-image-models/ 记录一下模型，方便查阅 """ Hybrid Vision Transformer (ViT) in PyTorch A PyTorch implement of the Hybrid Vision Transformers as described in: 'An Image Is Worth 16 x 16 Words: Transformers for Image Recogni
【论文阅读】A CNN-transformer hybrid approach for decoding visual neuralactivity into text
Billie使劲学的博客
04-10 1383
题目：一种将视觉神经活动解码为文本的CNN-transformer混合方法 目录 摘要 Introduction Methods Two-layer 1D CNN Transformer Scaled dot-product attention Multi-Head attention Multi-Layer connectivity Feed-Forward networks Scaled positional encoding Implementation details A.
[Transformer]UTNet:A Hybrid Transformer Architecture for Medical Image Segmentation
qq_37151108的博客
10-22 3033
UTNet：用于医学图像分割的混合Transformer框架
AbstractSection I IntroductionSection II MethodPart 1 Self-AttentionPart 2 Efficient Self-Attention MechanismPart 3 Relative Positional EncodingSection III ExperimentSection IV Conclusion Paper Code Abstract Transformer已被广泛用于
论文浅尝 | 异构图 Transformer
开放知识图谱
10-13 2268
笔记整理：许泽众，浙江大学博士在读论文链接：https://arxiv.org/abs/2003.01332本文主要提出一种处理异构图的方法，所谓异构图（Heterogeneous gra...
论文：Pretraining graph transformer for molecular representation with fusion of multimodal information
qq_49786473的博客
11-26 1021
这篇论文提出了一种名为MolGT的新型图Transformer预训练框架，用于分子表示学习（MRL）。MolGT融合了节点视角和图视角，结合了分子的二维拓扑和三维几何模态，采用了一种定制的图Transformer，能够高效地共享不同模态的知识。MolGT通过对比学习在二维拓扑和三维几何模态之间建立联系，从而生成隐式的三维几何信息。实验表明，MolGT能够准确表示分子，并在无需计算昂贵的分子构象的情况下，仅使用二维信息获得几乎相同的结果，展示了其在分子学习任务中的有效性。
UTNet：一种用于医学图像分割的混合Transformer结构
weixin_43921949的博客
09-13 1939
UTNet：CNN和Transformer的混合医学图像分割结构
音源分离 | HYBRID TRANSFORMERS FOR MUSIC SOURCE SEPARATION
cash_cp的博客
04-22 1131
在音乐源分离(MSS)中出现的一个自然问题是，远程上下文信息是否有用，或者局部声学特征是否足够。本文提出了Hybrid Transformer Demucs (HT Demucs)，一种基于hybrid Demucs[1]的混合时/频 bi-U-Net。
[Transformer]A Multi-Branch Hybrid Transformer Network for Corneal Endothelial Cell Segmentation
qq_37151108的博客
03-03 1708
一种用于角膜内皮细胞分割的多分支混合Transformer网络
AbstractSection I IntroductionSection II MethodPart 1 Residual Transformer BlockPart 2 Body，Edge,Final BranchesPart 3 Loss FunctionSection III ExperimentsPart 1 DatasetsPart 2 Comparison with SOTA methodsPart 3 Albation Stud
Transformer-Based Acoustic Modeling for Hybrid Speech Recognition
pitaojun的博客
09-14 520
Transformer-Based Acoustic Modeling for Hybrid Speech Recognition 1.论文摘要 对transformer based 的混合语音识别模型在不同位置编码方法、iterated loss条件下模型的最优配置、有限上下文条件下流式应用进行了讨论。在结合4-ngram 语言模型rescore， 获得了19%-26%的效果提升。 2. 背景介绍 hybrid architecture 将输入序列x1,…,xt经过声学encoder 编码为高级的向量
代码解读 | Hybrid Transformers for Music Source Separation[04]
cash_cp的博客
06-11 886
从模块上划分，Hybrid Transformer Demucs 共包含 （STFT模块、时域编码模块、频域编码模块、Cross-Domain Transformer Encoder模块、时域解码模块、频域解码模块、ISTFT模块）7个模块。 本篇目标：拆解STFT模块的底层。
代码解读 | Hybrid Transformers for Music Source Separation[07]
cash_cp的博客
06-17 1576
从模块上划分，Hybrid Transformer Demucs 共包含 （STFT模块、时域编码模块、频域编码模块、Cross-Domain Transformer Encoder模块、时域解码模块、频域解码模块、ISTFT模块）7个模块。 本篇目标：拆解Cross-Domain Transformer Encoder模块。
代码解读 | Hybrid Transformers for Music Source Separation[06]
cash_cp的博客
06-14 1456
从模块上划分，Hybrid Transformer Demucs 共包含 （STFT模块、时域编码模块、频域编码模块、Cross-Domain Transformer Encoder模块、时域解码模块、频域解码模块、ISTFT模块）7个模块。 本篇目标：拆解频域解码模块、ISTFT模块的底层。
MKGFormer：多元融合的多模态知识图谱补全模型
gitblog_00097的博客
06-11 1012
MKGFormer：多元融合的多模态知识图谱补全模型 MKGformer[SIGIR 2022] Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion项目地址:https://gitcode.com/gh_mirrors/mk/MKGformer 1、项目介绍 MKGFormer ...
可建模语义分层的KG embedding for relation/link completion
jxsdq的博客
05-05 1835
可建模语义分层的KG embedding for relation/link completion 1. Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction 知识图谱补全的方法可分为三种： 基于距离的模型 双线性模型 神经网络模型 本文属于第一种，基于距离的模型，这类模型可以建模互逆，对称与复合等不同的...
Multimodal Transformer for Unaligned Multimodal Language Sequences原文
03-12
### 关于用于未对齐多模态语言序列的多模态Transformer模型 #### 多模态Transformer (MulT) 的设计原理 多模态Transformer (MulT) 是一种专门针对未对齐的多模态语言序列而设计的架构。该模型旨在处理不同形式的数据输入，如文本、音频和视频，并通过跨模态注意力机制实现这些数据的有效融合[^1]。 #### 跨模态注意力机制 在高层次上，MulT 采用来自多个方向成对的跨模态Transformer来进行前馈融合过程。每个跨模态Transformer负责学习两种模态特征间的相互作用，即通过计算它们之间的重要性权重来增强目标模态的信息表示。这一过程中，较低层次的特征被用来不断加强较高层次的目标模态表达，从而使得最终得到的表征更加鲁棒且具有更强的表现力[^2]。 #### 序列建模与预测 完成上述跨模态交互之后，所获得的融合特征会被送入到一个基于自注意力机制的序列模型中进一步加工。此阶段的任务是对之前产生的综合特征执行更深层次的理解以及做出相应的分类或其他类型的决策支持。整个流程不仅能够有效应对各种复杂的实际应用场景下的挑战，同时也为后续研究提供了新的思路和技术手段[^3]。 ```python import torch.nn as nn class MultiModalTransformer(nn.Module): def __init__(self, config): super().__init__() self.cross_modal_transformers = nn.ModuleList([ CrossModalAttention(config), ... ]) def forward(self, inputs): fused_features = [] for transformer in self.cross_modal_transformers: output = transformer(inputs) fused_features.append(output) final_output = combine_fused_features(fused_features) return final_output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值