【论文阅读】GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation（TPAMI 2023）

最新推荐文章于 2024-07-14 16:11:50 发布
最新推荐文章于 2024-07-14 16:11:50 发布
阅读量356 收藏 2
点赞数 2
分类专栏： 多模态情绪分析 文章标签： 论文阅读 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48432468/article/details/129288758
版权

【论文链接】https://arxiv.org/abs/2203.02177v2

【代码链接】GitHub - zeroQiaoba/GCNet: GCNet, official pytorch implementation of our paper "GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation"

问题动机

        对话已成为社交媒体平台上的重要数据格式。由于其在人机交互中的广泛应用，从情感、内容等方面理解对话也越来越受到研究者的关注。在现实环境中，我们经常会遇到模态不完整的问题，这已经成为对话理解的核心问题。例如，语音可能由于背景噪音或传感器故障而丢失；由于自动语音识别错误或未知单词，文本可能不可用；由于光照、运动或遮挡，可能无法检测到面部。模态不完整的问题增加了准确理解对话的难度。
        一方面，相邻的话语在对话中通常在语义上是相关的。另一方面，每个说话者都有自己的表达方式，在谈话中通常是一致的。然而，现有作品通常无法利用它们，从而限制了它们在会话数据中的性能。

解决方法

        在本文中，提出了一种用于对话中不完整多模态学习的新框架，称为“图补全网络 (GCNet)”。我们的目标是在对话中充分利用时间和说话者信息来处理不完整的模态。具体来说，我们首先随机丢弃多模态特征来模拟真实世界的缺失模式。为了捕捉对话中的说话人和时间依赖性，我们提出了两个基于图神经网络的模块，“说话人 GNN (SGNN)”和“时间 GNN (TGNN)”。这两个模块共享相同的边，但边类型不同。最后，我们以端到端的方式联合优化分类和重建。

         1. 为了模拟现实世界中缺失的场景，我们通过保证每个样本至少有一种模态可用来随机丢弃一些模态。因此，不完整的 M 模态数据集有 (2^m − 1) 个不同的缺失模式。以为本文是3模态的情况，所以，一共有7种确实情况，如图2。

        2. 图补全网络主要由3个模块组成：节点构建、说话者和时间 GNN 以及分类和重建。

  • 节点构建：我们将缺少模态的对话数据作为输入。每个对话包含多个话语，我们将每个话语u_i表示为节点 v_i。为了提取v_i的初始表示，我们首先连接不完整的多模态特征，然后使用双向长短期记忆 (Bi-LSTM) 来捕获上下文信息。
  • 说话者和时间GNN：Speaker GNN (SGNN) 和 Temporal GNN (TGNN) 是捕获对话中说话人和时间依赖性的关键模块。在这些模块中，边衡量节点之间连接的重要性。边类型定义了节点交互中的不同聚合方法。SGNN 和 TGNN 共享相同的边但不同的边类型以捕获不同的依赖关系。
  • 分类和重建：对于每个节点，我们提取其初始表示、考虑说话人信息的表示和考虑时间信息的表示。为了聚合这些表示，我们将它们连接在一起，然后利用 Bi-LSTM 进行上下文敏感建模。

实验结果

YongboW
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
《Decomposition and Completion Networkfor Salient Object Detection》阅读理解
yuehuihui00的博客
07-28 444
转载请注明出处。 作者：Zhe Wu , Li Su 论文链接：Decomposition and Completion Network for Salient Object Detection | IEEE Journals & Magazine | IEEE Xplore 2021 TIP 论文强调，近年来，全卷积网络(FCNs)在显著目标检测方面取得了巨大的进展，现有的先进方法主要集中于如何集成边缘信息。因此，论文提出了一个Decomposition and Completion Ne
Globally and Locally Consistent Image Completion 论文及lua 代码解读
少东的博客
01-11 6293
一、论文 1、论文思想 上一篇文章提到的Context encode 利用decoder 和encoder 来进行image inpainting，可以修复较大的图像缺失并使得恢复好的图像符合整幅图像的语义，但是修复好的图像存在局部模糊的问题，因此真实图像和利用inpainting 得到的图像肉眼清晰可辨。针对这个问题，SATOSHI IIZUKA 等提出了一个新的想法，即利用global d...
Incomplete Multimodal Learning（不完整多模态学习）
热门推荐
nakaizura
05-04 1万+
博主已经更新过很多多模态系列的文章了，专栏传送门：多媒体与多模态专栏。 可以发现多模态虽然效果很好，但需要保证“多个”模态都一定要存在。但是在现实世界中，部分模态的缺失是很常见的，因此不完整/缺失多模态学习（Incomplete Multimodal Learning）任务也十分值得探索。本篇博文将整理这一研究方向中一些不错的文章。 Unified subspace learning for incomplete and unlabeled multi-view data 比较早期的文章，任务是跨模态检
论文阅读：PCN: Point Completion Network
qq_42613078的博客
11-09 3249
PCN: Point Completion Network题目作者代码地址引言介绍 题目 PCN: Point Completion Network 点云修补网络 作者 卡耐基梅隆大学机器人研究所{wyuan1, tkhot, dheld, cmertz, Hebert}@cs.cmu.edu 代码地址 PCN源码 引言 本文提出了一种新的基于学习的点云修补网络，和现有的补全方法不同，PCN直接对原始点云进行操作，没有任何结构假设(如对称性)或对底层形状的注释(如语义类)。它的特点是一个解码器设计，允许在保
DeepNC: Deep Generative Network Completion 解读
weixin_42429085的博客
07-24 724
原创声明： 每次都要自己写一个原创声明 作者 Cong Tran, Student Member, IEEE, Won-Yong Shin, Senior Member, IEEE, Andreas Spitz, and Michael Gertz 问题——不完整的网络 真实的网络只有部分被观测到，你微信上的好友并不是你全部的好友，你的父母没有微信，但你经常和他们打电话，所以通过online 线上...
Variational Relational Point Completion Network 阅读笔记
weixin_42155685的博客
08-07 929
Variational Relational Point Completion Network Abstract 摘要 Real-scanned point clouds are often incomplete due to viewpoint, occlusion, and noise. Existing point cloud completion methods tend to generate global shape skeletons and hence lack fine local det
【论文翻译】GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond
孙永杰的博客
05-27 1476
GCNet: GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond 摘要 Non-Local Network (NLNet) 通过将特定于查询的全局上下文聚合到每个查询位置，提供了一种用于捕获远程依赖关系的开创性方法。然而，通过严格的实证分析，我们发现 non-local network建模的全局上下文对于图像中的不同查询位置几乎相同。在本文中，我们利用这一发现创建了一个基于查询无关公式的简化网络，该网络保持了 NLNet
GCNet：GCNet：非本地网络满足挤压激励网络的需求
02-05
GCNet在ICCV 2019 Neural Architects Workshop上获得了最佳论文奖！ 于2019/07/01更新 代码被重构。 提供了更多结果，所有配置都可以在configs/gcnet找到。 注意：PyTorch官方SyncBN和Apex SyncBN都有一些稳定性...
GCNet:气相色谱网
05-11
GCNet在ICCV 2019 Neural Architects Workshop上获得了最佳论文奖！ 于2019/07/01更新 代码被重构。 提供了更多结果，所有配置都可以在configs/gcnet找到。 注意：PyTorch官方SyncBN和Apex SyncBN都存在一些稳定性...
UPS-GCNet:深度未校准的光度学立体中学到了什么？ （ECCV 2020年）
05-04
本文旨在发现一种深度的未校准光度立体（UPS）网络可以解决该问题的固有歧义，并在我们的分析基础上引入一种引导式认证网络（GCNet）。 概述： 我们提供： 在， ， ，和合成数据集上测试我们的方法的代码。 用于...
基于Python实现的GCNet复现与改进源码+论文+数据集+实验报告
03-08
【标题】: "基于Python实现的GCNet复现与改进源码+论文+数据集+实验报告" 在深度学习领域，卷积神经网络（Convolutional Neural Networks, CNN）是图像识别和计算机视觉任务的核心技术之一。GCNet，全称为Global ...
YOLOv5：修改backbone为GCNET
09-20
1、官方源项目地址 ：https://github.com/ultralytics/yolov5 2、在yolov5-6.1中修改backbone为GCNET。 3、训练、测试、预测命令与官方版本一致。
Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
dezwb的博客
07-11 1054
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。
DELTA: DEGRADATION-FREE FULLY TEST-TIME ADAPTATION--论文笔记
dezwb的博客
07-10 1331
完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流，当测试数据分布与训练数据分布不同时，这种方法很有效。为提高适应性能作出了若干努力。然而，我们发现，在一些刘硎的的自适应方法中，如测试时批量归一化（BN）和自学习，隐藏了两个不利的缺陷。首先，我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响，会导致不准确的估计。其次，我们证明了在测试时间自适应过程中，参数更新偏向于一些优势类。
DROO论文笔记
最新发布
qq_61897765的博客
07-14 693
读论文的笔记
论文阅读【时空+大模型】ST-LLM（MDM2024）
micaudience的博客
07-11 1003
Spatial-Temporal Large Language Model for Traffic Prediction
《RWKV》论文笔记
Zssss12的博客
07-09 1043
这些通常涉及复杂的顺序数据处理任务比如自然语言理解任务，会话AI，时间序列分析，和间接顺序格式，如图像和图表(Brown等人，2020;到目前为止，我们将我们的模型扩展到多达 14 亿个参数，是迄今为止训练的最大密集 RNN，发现 RWKV 的性能与类似大小的 Transformer 相当，这表明未来的工作可以利用这种架构来创建更有效的模型。在该架构中，计算中涉及的所有线性投影向量(R, K, V，通道混合中的R '， K ')都是通过当前时间步输入和前一个时间步输入之间的线性插值产生的，促进令牌移位。
GloVe: Global Vectors for Word Representation论文笔记解读
m0_52775136的博客
07-12 580
虽然semantic评估有略微增长，但是维度增加，对资源的消耗也会增加，所以考虑到成本，一般会选择300作为最终的维度。【在类比任务上做得更好，但它们很少利用语料库的统计数据，因为它们在单独的局部上下文窗口上训练，而不是在全局共出现计数上训练。Glove模型：融合了当时最新的全局矩阵分解方法和局部文本框捕捉方法，即全局词向量表达，利用了全局词词共现矩阵中的非0数据来训练。第三个是指窗口不对称，也就是说只考虑前面或者后面的单词，维度固定的情况下，窗口大小对模型的影响。展示了三个不同超参数对最终结果的影响。
gcnet代码tensorflow
06-07
以下是使用 TensorFlow 实现的 GCNet 代码示例： ```python import tensorflow as tf def spatial_attention(x, ratio=8): # 获取输入张量的尺寸 W, H, C = x.get_shape().as_list()[1:] # 计算压缩尺寸 squeeze = tf.reduce_mean(x, axis=[1, 2], keepdims=True) # 计算空间注意力张量 excitation = tf.layers.dense(inputs=squeeze, units=C // ratio) excitation = tf.nn.relu(excitation) excitation = tf.layers.dense(inputs=excitation, units=C) excitation = tf.nn.sigmoid(excitation) # 将空间注意力张量广播到原始张量的尺寸 excitation = tf.reshape(excitation, [-1, 1, 1, C]) excitation = tf.tile(excitation, [1, W, H, 1]) # 计算加权后的特征图 return tf.multiply(x, excitation) def channel_attention(x, ratio=8): # 计算平均值和最大值特征图 avg_pool = tf.reduce_mean(x, axis=[1, 2], keepdims=True) max_pool = tf.reduce_max(x, axis=[1, 2], keepdims=True) # 计算通道注意力张量 mlp = tf.layers.dense(inputs=tf.concat([avg_pool, max_pool], axis=-1), units=C // ratio) mlp = tf.nn.relu(mlp) mlp = tf.layers.dense(inputs=mlp, units=C) mlp = tf.nn.sigmoid(mlp) # 计算加权后的特征图 return tf.multiply(x, mlp) def gc_block(x): # 计算空间注意力 x_sa = spatial_attention(x) # 计算通道注意力 x_ca = channel_attention(x) # 将两个注意力加权后相加 x = tf.add(x_sa, x_ca) # 使用 1x1 卷积进行特征压缩 x = tf.layers.conv2d(inputs=x, filters=C, kernel_size=1, strides=1, padding='same') # 应用 BN 和 ReLU 激活函数 x = tf.layers.batch_normalization(inputs=x) x = tf.nn.relu(x) # 返回输出特征图 return x ``` 以上代码实现了 GCNet 中的两种注意力机制（空间注意力和通道注意力），并使用 1x1 卷积进行特征压缩。完整的 GCNet 模型可以使用多个 GC Block 进行堆叠来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值