![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
图融合
文章平均质量分 83
Mighty_Crane
这个作者很懒,什么都没留下…
展开
-
读《Multi-modal Graph Fusion for Named Entity Recognition with Targeted Visual Guidance》
2021摘要主导的多模态命名实体识别(MNER)模型并没有充分利用不同模态语义单元之间的细粒度语义对应,这具有细化多模态表示学习的潜力。引言如何充分利用视觉信息是MNER的核心问题之一,它直接影响了模型的性能。尝试:(1)将整个图像编码为全局特征向量(图1(a)),可用于增强每个单词表示(月亮、内维斯和卡瓦略2018),或指导单词学习视觉感知表示(Lu等2018;张等2018);(就是节点级分类那种实现方式,比如一张人脸图像整体得到一个嵌入)(2)将整个图像平均分割成多个区域(图1(b)),并原创 2022-03-18 11:02:51 · 3666 阅读 · 0 评论 -
读《MTGAT: Multimodal Temporal Graph Attention Networks for Unaligned Human Multimodal Language Seque》
2020摘要将未对齐的多模态序列数据转换为具有异构节点和边的图,该图捕获了不同模态之间时间的丰富交互。引言在分析这样的多模态序列数据时,关键是要利用一个能够精确而有效地执行融合和对齐的模型,它可以通过a)以一种可解释的方式对齐任意分布的异步模式,b)有效地计算短期和长期依赖关系,C)明确地模拟模态之间的多模态相互作用,同时考虑模型内交互。本文扩展了图注意网络(GAT)(Veliˇckovi‘c等人,2018年),以学习异步多模态序列数据的融合和对齐。对于MTGAT,这些模式不需要预原创 2022-03-18 09:58:46 · 872 阅读 · 0 评论 -
读《Analyzing Unaligned Multimodal Sequence via Graph Convolution and Graph Pooling Fusion》
2020摘要融合视觉、语言、声音三模态现有工作是集中在对齐融合单词,本文认为这是不切实际的因此本文主攻非对齐模态序列的多模态序列分析的任务常用的RNN系列网络由于其周期性,它们容易受到梯度消失/爆炸和高时间复杂度的影响基于图的结构能够在时间维数上进行并行计算,并可以在较长的未对齐序列中学习更长的时间依赖性。具体来说,这个多模态图是分层结构的,以满足两个阶段,即模式内和模式间的动态学习。在第一阶段,对每个模态都采用图卷积网络来学习模态内dynamics(应该是相互作用的意思吧)。在第二阶段原创 2022-03-16 16:38:43 · 1311 阅读 · 0 评论 -
复现《A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation》
遍历每个batch,遍历iter(看设置,在循环内部iters加上offset,当前offset是0倒没啥影响,另外这个iter的遍历是一直持续到maxsteps)prepare_sources(train_batch.src, srcpadid, args.share_vocab)输入:train_batch.src data [153, 14]srcpadid padid 1args.share_vocab share_vocab False # 默认是True 如果share_原创 2022-03-08 16:34:26 · 1541 阅读 · 0 评论 -
读《Multimodal Topic Detection in Social Networks with Graph Fusion》
2021摘要社交网络中用户生成的内容通常包含图像、视频等多模态数据。多模态主题检测对融合和对齐不同模式的异构特征提出了新的挑战引言本文主要研究了图像-文本社交网络数据的多模态主题检测问题。受[19]中引入的图融合网络(GFN)的启发,我们采用了一个基于GFN的编码器和一个多层感知器(MLP)解码器来解决多模态主题检测中的融合问题。与原来的GFN不同,我们设计了一个重构损失函数,以无监督的方式约束编码器和解码器的学习过程。该编码器通过逐层构造顶点来分层融合多模态信息,其中将特征视为顶点,将多模态动力原创 2022-01-10 11:17:55 · 857 阅读 · 0 评论 -
复现GMC: Graph-based Multi-view Clustering
运行虚拟数据集结果Input the name of data set: (TwoMoon or ThreeRing)TwoMooniter = 5 lambda:16Data set TwoMoon-> ACC:1.0000 NMI:1.0000 ARI:1.0000 error_cnt:0运行真实数据集结果iter = 6 lambda:8100leaves=====In iteration 1=====ACC:0.8237 NMI:0.9292 ARI:0.4974 erro原创 2021-10-10 20:41:22 · 752 阅读 · 4 评论 -
读《GMC: Graph-based Multi-view Clustering》
摘要基于多视图的聚类旨在为多视图数据提供聚类解决方案。然而,大多数现有的方法都没有充分考虑不同视图的权重,而需要一个额外的聚类步骤来生成最终的聚类,甚至还得基于所有视图的固定图相似度矩阵来优化其目标。本文提出了一个通用的基于图的多视图聚类(GMC)来解决这些问题。GMC获取所有视图的数据图矩阵,并将它们融合起来生成一个统一的图矩阵。统一的图矩阵进而改进了每个视图的数据图矩阵,并直接给出了最终的聚类。一种新的多视图融合技术可以自动加权每个数据图矩阵,(有点类似于求和式的特征层融合?)得到统一的图矩阵。对翻译 2021-10-10 15:35:06 · 939 阅读 · 0 评论 -
读《Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network》
摘要主流的模态融合方法未能实现学习多模态的嵌入空间这一目标本文提出了一种新的对抗性编码器-解码器分类器框架由于不同模态的分布在本质上有所不同,为了减少模态差距,使用对抗性训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外,通过引入重构损失和分类损失来对嵌入空间施加额外的约束。然后利用层次图神经网络融合编码表示(是把图融合成编码向量,还是融合成图后再进一步得到编码),明确地探索了多阶段的单峰、双峰和三峰相互作用引言(Baltrusaitis, Ahuja, ˇand Morency 2翻译 2021-10-09 20:10:08 · 607 阅读 · 0 评论 -
读《Reasoning with Heterogeneous Graph Alignment for Video Question Answering》
摘要主要的视频问题回答(VQA)方法是基于细粒度表示或特定于模型的注意机制。他们通常分别处理视频和问题,然后将不同模式的表示输入后续的后期融合网络(决策层融合?)。虽然这些方法使用一种模态的信息来增强另一种模态,但它们忽略了在统一模态中整合模态间和模态内的相关性。本文提出了一个深度异构对视频图对齐网络。从四个步骤来探索网络架构:表示、融合、对齐和推理。在我们的网络中,模态间信息和模态内信息可以在异构图上同时对齐和交互,并用于跨模态推理。1.引言视频问题回答(VideoQA)旨在通过给出视频和相关文翻译 2021-10-09 11:47:35 · 369 阅读 · 3 评论 -
读《Adaptive Weighted Graph Fusion Incomplete Multi-View Subspace Clustering》
摘要大多数现有的多视图聚类方法都假设所有的视图都是完整的。然而,在许多真实场景中,多视图数据往往是不完整的,例如,硬件故障或数据收集不完整。(发现问题,必要性)本文提出了一种自适应加权图融合不完全多视图子空间聚类(AWGF-IMSC)方法来解决不完全多视图聚类问题。首先,为了消除原始空间中存在的噪声,将完整的原始数据转换为潜在的表示(深度表示呗),这有助于更好地构建每个视图的图。然后,我们将特征提取和不完全图融合合并到一个统一的框架中,而两个过程可以相互协商,用于图学习任务。对完整图进行稀疏正则化翻译 2021-10-08 20:33:51 · 434 阅读 · 0 评论 -
读《Graph Fusion for Finger Multimodal Biometrics》
摘要模态图像的尺度不一致是影响有效融合的一个重要原因。因此,研究一种对多模态特征的统一表达是非常重要的。本文提出了一种基于图的手指生物特征图像的特征提取方法。基于图结构的特征表达可以很好地解决多模态之间特征空间不匹配问题。1.引言生物识别允许根据一组可识别的特定数据进行识别和验证[1]。随着精确认证的需求不断增加,仅使用单峰生物特征特征进行识别就不行了[2]。多模态融合生物识别技术通过整合单模态特征信息,通常在普遍性、准确性和安全性[3]、[4]方面表现得更好。但是多模态特征空间的不匹配,仍然翻译 2021-10-08 17:06:49 · 254 阅读 · 0 评论 -
读《Adaptive Weighted Graph Approach to Generate Multimodal Cancelable Biometric Templates》
摘要生物特征数据的融合是一项艰巨的任务,降低了多模态系统对不同类型和维度的生物特征特征的就业能力。(研究难点)此外,针对对手攻击的全面解决方案没有确保模板保护和防止演示攻击的到位。(现实意义)本文则是基于关键图像的通用特征提取技术,降低了特征维数,实现了可撤销性。通过来自不同模式的互补信息的交叉扩散,保证了不可逆性和无关联性(unlinkability)。提出了一种基于自适应图的特征融合方法来生成多模态可取消(cancelable)的生物特征模板。针对表示攻击的鲁棒性是通过基于质量的特征适应来实现的翻译 2021-10-06 22:13:58 · 314 阅读 · 2 评论 -
读《Action Recognition Based on the Fusion of Graph Convolutional Networks with High Order Features》
摘要图卷积神经网络利用骨架数据的时空特征在动作识别任务中很有用。提取时空特征的常用方法纯粹依赖于一个深度网络来从原始的三维位置中学习。本文提出了一种新的动作识别方法,利用骨架数据的高阶时空特征,如速度特征、加速度特征和三维关节之间的相对距离。同时,采用了一种多流特征融合的方法来融合提出的这些高阶特征。(摘要倒是没说明研究必要性和意义啊)1.引言动作识别的任务存在许多传统方法难以解决的问题,如如何处理遮挡、照明变化、人类动作在单帧内的定位和识别,以及提取帧级[1]的关系。基于深度的人类动作识别方翻译 2021-10-06 17:30:56 · 308 阅读 · 0 评论 -
读《A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation》
摘要当前多模态机器翻译NMT模型并不能充分利用不同模态的语义单元之间的细粒度语义对应,这具有细化多模态表示学习的潜力1.引言NMT将图像作为额外的输入扩展文本翻译如何充分利用视觉信息是多模态NMT的核心问题之一,它直接影响了模型的性能1)将每个输入图像编码成全局特征向量,可用于初始化多模态NMT模型的不同组件,或作为额外的源标记,或学习联合多模态表示;2)提取基于对象的图像特征以初始化模型或补充源序列,或生成基于注意的视觉上下文3)将每幅图像表示为空间特征,可以作为额外的上下文利用,或通过注意原创 2021-10-06 15:56:45 · 360 阅读 · 0 评论