多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning

最新推荐文章于 2025-03-15 15:50:02 发布
最新推荐文章于 2025-03-15 15:50:02 发布
阅读量1.4k 收藏 4
点赞数 1
分类专栏： 多模态 文章标签： 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq874455953/article/details/112549078
版权
现有多模态任务常存在噪声问题，影响模型效果。本文提出自监督去噪方法，将多模态噪声消除归结为密度估计任务，通过自监督训练去噪模块，集成到损失函数中。实验显示该方法能提升VQA等任务表现，但拓展到三模态更复杂，对情感分析收益不大。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning

这篇文件讲的是， 按照现有多模态的任务， 往往会出现噪音的问题， 噪声使得模型一直得不到最好结果， 而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声， 实验结果显示， 用此方法， 能够直接提高 VQA， Text-To-Video Retrieval 等任务的表现

本文贡献

  • 证明多模态噪声的消除任务 可以归结为 多模态密度估计任务
  • 提出一个模块用于学习一个抗噪声能力强的表示 并且变成一个 max margin ranking loss function.
  • 通过HowTo100M dataset 进行自监督训练如何去噪 ， 然后用于5个任务， 结果可以发现进行提升

本文相关工作

  1. Density Estimation： 密度估计

    假设我们有一组来自未知密度函数的观察到的数据点，我们的目标是从观测到的数据估计他们的概率密度函数

  1. 自监督学习

    一文读懂自监督学习_zandaoguang的博客-CSDN博客_自监督学习

  2. 多模态表示学习

    joint representation 联合表示

    encoder-decoder framework

    coordinated representation

模型方法

在多模态数据中，当两个或多个模态不具有相同的语义含义时，样本被认为是有噪音的， 这种噪音会影响实验结果。

问题定义：

一个样本Z 是由视频片段V 和 对应的文本（字幕）C， 以及两者是否匹配 P，

V 和 C 通过 Fv Fc 映射到同一特征空间，要求匹配的 V 和 C 在通过Fv， Fc 映射后相似

用多模态密度估计来进行噪声估计

定义两个样本的相似度

在这里插入图片描述

其中 s 是相似度计算函数 可以是 cos相似度计算
在这里插入图片描述

另外的符号表示的是均值和方差

然后是概率的表示， 概率的表示是用类似K-NN密度估计算法 来计算的

在这里插入图片描述

Zik 是 Zi 和 Zi 最近的第K个邻居的相似度

Soft Max Margin Ranking Loss

我们把上面的噪声估计组件进行集成， 集成到一个max margin ranking 损失函数中

在这里插入图片描述

P 是 正样本集合 Ni 是 对样本i 的负样本集合

理论分析

这一部分稍微有点难， 数学知识比较多， 后面再进行补充吧

实验

在HowTo100M 进行自监督训练， 然后放到下游任务里面

在这里插入图片描述

心得

从去噪声的角度，来进行实验， 可以提高实验效果， 也是一个思路吧， 他这篇是双模态的 任务，拓展到3模态应该会更加复杂

而且对于情感分析等来说好像收益不大， 因为 情感分析 本身就大部分是图文不相关的

数据驱动AI开发：多模态数据集、协同推理以及业务启发
AI天才研究院
08-07 1806
数据驱动AI开发已经成为新时代的AI应用模式，它可以带来新的商业价值，但同时也面临着数据量、数据质量、数据采集难度、建模困难等一系列挑战。在本文中，我们将系统地讲解数据驱动AI开发的理论基础、方法论和实践技巧。数据驱动AI开发包括以下三个步骤：数据收集、数据清洗、数据标注及数据增强，最后形成一个具有一定规模的数据集。然后利用该数据集进行训练和验证模型，进而得到一个预测能力强且效果好的模型。
多模态大模型：技术原理与实战 如何提高长文本阅读能力
AI天才研究院
05-30 697
多模态大模型：技术原理与实战 如何提高长文本阅读能力 作者：禅与计算机程序设计艺术 1.背景介绍 1.1 多模态大模型的兴起 1.2 长文本阅读理解的重要性
多模态综述阅读总结
qq_44609058的博客
03-13 2915
多模态任务挑战：表示、翻译、对齐、融合、协同学习。 (1)多模态表示：联合（joint）、协作（coordinated） 联合表示（又称单塔模型）：通过将单模态用函数进行投射到同一多模态表示空间。公式：xm=f(x1,x2,......,xn)。主要用于：在训练和推理过程中都存在多模态数据的任务中。最简单的例子为单个模态的串联（又称早起融合）。 该论文分析了从神经网络、图形模型、递归神经网络等方面创建联合表示。 基于神经网络的联合表示：每个模态从几个单独的神经层开始，然后通过一个隐藏...
多模态自监督学习（Multimodal Self-Supervised Learning, MSRL）
gaesarGatt的博客
12-08 1337
多模态自监督学习是一种重要的机器学习方法，旨在从多种模态的数据中学习有效的表示，而无需依赖大量标注数据。自监督学习通过从数据本身生成标签来进行学习，因此具有很高的潜力，尤其适用于多模态数据（如图像、文本、语音、传感器数据等）中的表示学习。和。
低质量多模态数据融合方法最新进展！天津大学携手顶尖高校推出重磅综述！
奋斗小青年
03-15 802
多模态融合侧重于整合多种模态的信息，以实现更准确的预测，在自动驾驶、医疗诊断等多种场景中取得了显著的进展。然而，多模态融合的可靠性在很大程度上仍未得到探索，特别是在低质量数据设置下。本文调查了多模态融合的常见挑战和最新进展，并**以数据为中心的角度**，确定了低质量数据的多模态融合面临的四个主要挑战，即 **（1）被异质噪声污染的噪声多模态数据，（2）缺少某些模态的不完整多模态数据， （3）不平衡多模态数据，不同模态的质量或属性显著不同；（4）质量变化多模态数据，每种模态的质量相对于不同样本动态变化**。这
论文阅读笔记：Multimodal Self-Supervised Learning for Medical Image Analysis
愿十四亿神州尽舜尧
06-03 1167
来源 arxiv 标题 Multimodal Self-Supervised Learning for Medical Image Analysis 作者单位 德国波茨坦大学Hasso Plattner研究所 方法简介 关键词：自监督学习，图像拼接（Jigsaw puzzle），名义任务（pretext），下游任务（downstream task），多...
多模态第一次阅读学习
Nicolas_Yin的博客
03-06 265
每周一起读 | 多模态专题阅读小组
weixin_34376986的博客
08-01 205
从本周起，PaperWeekly 的多模态小组将开始发起「每周一起读」活动，我们将每周选定一篇优质文章，并提供可撰写读书笔记和在线协同讨论的阅读工具。如果你也希望和我们一起培养良好的阅读习惯，在积极活跃的讨论氛围中增长姿势，就请留意下方的招募信息吧：） 多模态小组招募 本期「每周一起读」，我们将一起精读下文并发起协同交流。参与者需具备多模态（Ima...
多模态自监督 论文
weixin_40875443的博客
05-08 1406
多模态情感分析 多个任务，一个多模态任务和三个单模态任务。多模态任务监督学习，单模态任务自监督学习 主要创新点：前两条都是针对单模态学习任务的。大模型可能是参考文献Yu et al. (2020a), 参考的文章也是一个多模态和多个单模态组成的多任务学习模型，但都是监督学习。 提供了代码 ...
遥感多模态基础大模型汇总-实时更新
qq_36904533的博客
08-29 2205
遥感多模态基础大模型汇总，包括遥感视觉基础大模型，遥感视觉语言基础大模型，遥感基准数据集等大模型数据集和模型的汇总
【AI视野·今日Sound 声学论文速览 第四十四期】Tue, 9 Jan 2024
TomRen
01-11 1310
AI视野·今日CS.Sound 声学论文速览 Tue, 9 Jan 2024 Totally 27 papers 👉上期速览✈更多精彩请移步主页 Daily Sound Papers DJCM: A Deep Joint Cascade Model for Singing Voice Separation and Vocal Pitch Estimation Authors Haojie Wei, Xueke Cao, Wenbo Xu, Tangpeng Dan, Yueguo Chen歌声
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
3-5+利用正交去噪自动编码器学习多模态.pdf
03-18
3-5+利用正交去噪自动编码器学习多模态
经典多模态论文阅读笔记
weixin_44143361的博客
08-04 1649
经典多模态论文阅读笔记
如何处理多模态数据噪声不均衡动态？天大等最新《低质量数据的多模态融合》综述
weixin_43564920的博客
05-07 1603
一些最近的研究实证和理论上表明，传统的多模态融合可能在野外的低质量多模态数据上失败，例如不平衡【7】【8】【9】【10】、噪声【11】或甚至损坏【12】的多模态数据。针对这一问题，旨在探索具有部分缺失模态的不完整多模态数据的信息的不完整多模态学习出现，并在近年来获得了越来越多的研究关注【52】。在以下部分中，我们通过最近的进展和多模态融合面临的技术挑战详细介绍了这一领域：在噪声多模态数据上的学习（第2节）、缺失模态插补（第3节）、平衡多模态融合（第4节）和动态多模态融合（第5节）。
多模态任务多粒度多课程去噪框架
Srlua的博客
12-19 647
MM2DF:基于多模态方面的情感分析的多粒度多课程去崛框架
（2024|EMNLP|港中文，多模态数据去噪和重格式化，PubMedVision 数据集，HuatuoGPT-Vision）
qq_44681809的博客
02-15 1202
本文通过 MLLM 驱动的重格式化方法，从 PubMed 中提炼高质量医学视觉数据，构建了大规模的 PubMedVision 数据集，显著提升了医学 MLLM 的多模态能力，并训练了性能卓越的 HuatuoGPT-Vision 模型。
【多模态】ALIGN——使用噪声文本数据进行视觉语言感知预训练
向上生长的程序媛的博客
08-03 2746
图像和文本编码器通过对比损失来进行学习，将互相匹配的文本-图像对嵌入到一起，将不匹配的分开，将配对文本视为图像的细粒度标签，我们的图像与文本对比损失类似于传统的基于标签的分类目标；关键区别在于文本编码器生成“标签”权重。对齐的图像和文本表示自然适合于跨模态匹配/检索任务，并在相应的基准中实现最先进的（SOTA）结果。例如，在大多数零样本和微调中，ALIGN比以前的SOTA方法好7%以上。
论文笔记：Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Mo
missgrass的博客
01-01 2696
视觉-语言模型零镜头跨语言迁移的多语种多模态预训练摘要介绍方法Multilingual Multimodal Transformers 摘要 本文研究视觉-语言模型的零镜头跨语言迁移。具体来说，我们关注于多语言文本到视频的搜索，并提出了一个基于Transformer-based的模型来学习语境化的多语言多模态嵌入。在零镜头设置下，我们的经验表明，当我们使用非英语句子查询多语言文本-视频模型时，性能会显著下降。为了解决这一问题，我们引入了一种多语言多模态的预训练策略，并收集了一个新的多语言教学视频数据集(Mu
STiL: Semi-supervised Tabular-Image Learning for Comprehensive Task-Relevant Information Exploration in Multimodal Classification
最新发布
04-01
### STiL 方法概述 Semi-supervised Tabular-Image Learning (STiL) 是一种用于处理多模态数据的半监督学习方法[^1]。该方法旨在通过结合表格数据和图像数据来提升模型性能，特别是在标注数据有限的情况下。STiL 的核心目标是从不同模态的数据中提取任务相关信息并加以融合。 #### 多模态分类中的任务相关信息探索 在多模态分类场景下，任务相关信息通常分布在不同的数据源之间。STiL 方法通过设计特定机制，在训练过程中逐步识别哪些特征对于当前任务最为重要[^2]。具体而言： - **跨模态关联建模**：STiL 利用注意力机制捕获表格数据与图像数据之间的潜在关系。这种机制能够动态调整各模态的重要性权重，从而聚焦于最相关的部分[^3]。 - **自监督信号增强**：为了充分利用未标记样本的信息，STiL 引入了自监督学习策略。这些策略可以通过预测旋转角度、对比学习等方式生成额外的学习信号，进一步优化模型参数[^4]。 - **联合表示空间构建**：通过对齐两种模态的嵌入向量，STiL 创建了一个统一的任务相关表示空间。这使得即使某些模态缺失或质量较差时，模型仍能保持较高的鲁棒性和准确性[^5]。 以下是实现上述功能的一个简化代码框架： ```python import torch.nn as nn class STILModel(nn.Module): def __init__(self, tabular_dim, image_channels): super(STILModel, self).__init__() # 图像编码器初始化 self.image_encoder = ImageEncoder(image_channels) # 表格数据编码器初始化 self.tabular_encoder = TabularEncoder(tabular_dim) # 跨模态注意层 self.cross_modal_attention = CrossModalAttention() # 输出层定义 self.classifier = Classifier() def forward(self, table_data, image_data): img_features = self.image_encoder(image_data) tab_features = self.tabular_encoder(table_data) combined_features = self.cross_modal_attention(img_features, tab_features) output = self.classifier(combined_features) return output ``` 此代码展示了如何分别对图像和表格数据进行编码，并利用 `CrossModalAttention` 层完成两者间的交互操作[^6]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值