TPAMI 2024 | 自监督多模态学习：综述

最新推荐文章于 2025-05-13 22:10:49 发布
最新推荐文章于 2025-05-13 22:10:49 发布
阅读量140 收藏 1
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 顶刊论文 论文解读 TPAMI IEEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/144930747
版权

论文信息

题目：Self-Supervised Multimodal Learning: A Survey
自监督多模态学习：综述
作者：Yongshuo Zong, Oisin Mac Aodha, Timothy Hospedales
源码链接：https://github.com/ys-zong/awesome-self-supervised-multimodal-learning

论文创新点

  1. 全面综述：首次系统性总结了自监督多模态学习的最新进展，涵盖了从表示学习到模态融合和对齐的多个关键挑战。
  2. 分类法：提出了新的分类法，将SSML方法分为实例区分、聚类和掩码预测三大类，并详细讨论了每类方法的优缺点。
  3. 应用与未来方向：深入探讨了SSML在医疗、遥感等领域的应用，并提出了未来研究的
了解本专栏 订阅专栏 解锁全文
TPAMI 2025 | 自监督多模态学习：综述
小白学视觉
03-20 102
近年来，多模态学习在监督学习领域取得了显著进展，旨在理解和分析来自多种模态的信息。然而，对标注数据的高度依赖以及昂贵的人工标注成本阻碍了模型的扩展。与此同时，由于野外存在大量未标注数据，自监督学习成为缓解标注瓶颈的有吸引力的策略。基于这两个方向，自监督多模态学习（SSML）提供了一种从原始多模态数据中学习的方法。
Self-Supervised Learning for Point Clouds Data: A Survey
weixin_60335028的博客
07-14 1658
Self-Supervised Learning for Point Clouds Data: A Survey的阅读笔记
算法论文/自监督2——2024年8月13日最新的MIM综述论文Masked Image Modeling: A Survey
ZhouDevin的博客
09-14 2633
在这项工作中，我们调查了最近关于掩码图像建模（MIM）的研究，这种方法在计算机视觉中成为一种强大的自我监督学习技术。MIM 任务涉及屏蔽一些信息，例如像素、补丁甚至潜在表示，并训练模型（通常是自动编码器）以使用输入可见部分中可用的上下文来预测缺失的信息。我们确定并正式确定了如何将 MIM 作为借口任务实施的两类方法，一种基于重建，另一类基于对比学习。然后，我们构建了一个分类法并回顾了近年来最突出的论文。我们用通过应用分层聚类算法获得的树状图来补充手动构建的分类法。
图自监督学习综述：Graph Self-Supervised Learning A Survey
LW的技术小筑
05-14 4692
Introduction 为什么需要自监督学习？ 图上的深度学习近些年十分流行，但是现有的工作大部分都是监督或半监督学习（需要人工标注标签）。基于监督学习和半监督学习的方法存在一些缺陷： 人工标注耗时耗力； 泛化性能可能较差，尤其是训练数据稀缺的时候； 鲁棒性较差，可能受到标签相关的对抗性攻击。 而自监督学习（self-supervised learning, SSL）对人工标注数据的依赖较低，因此可以很好的解决上述问题。 什么是自监督学习？ SSL利用前置任务（pretext task）从无监督数据
【自监督学习综述】Self-Supervised Visual Feature Learning With Deep Neural Networks: A Survey
qq_42352772的博客
07-06 2596
深度神经网络的自监督视觉特征学习：一项调查
TPAMI 2024 多模态学习最新综述：普林斯顿大学、武汉大学等从数据视角解读多模态学习
weixin_44887311的博客
10-06 3123
在介绍了涉及其他模态的视觉和数据的各种判别性和生成性多模态应用之后，作者从技术设计和与数据属性的联系的角度重新审视和总结了现有的工作。此外，文中从表示学习和下游应用层面研究了多模态学习的现有文献，并根据它们与数据性质的技术联系进行了额外的比较，例如图像对象和文本描述之间的语义一致性以及节奏视频舞蹈动作和音乐节拍之间的对应关系。表2给出了生成任务中的评价指标。基于 GAN 的模型 与 VAE 类似，基于 GAN 的模型的训练不需要外部注释，只需要真实的原始数据，因此经常用于无监督或弱监督的环境中。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1426
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024 | 自监督学习综述：算法、应用与未来趋势
小白学视觉
04-05 89
深度监督学习算法通常需要大量标注数据才能达到满意的性能。然而，收集和标注这些数据的过程既昂贵又耗时。自监督学习（SSL）作为无监督学习的一个子集，旨在无需依赖人工标注的标签从未标注数据中学习判别性特征。近年来，SSL引起了广泛关注，并催生了许多相关算法。然而，目前缺乏全面研究来阐明不同SSL变体之间的联系和演变。本文综述了多种SSL方法，涵盖算法、应用领域、三个关键趋势以及开放的研究问题。首先，我们详细介绍了大多数SSL算法的动机，并比较了它们的共性和差异。
TPAMI 2024 | 视觉-语言模型在视觉任务中的综述
小白学视觉
10-11 459
大多数视觉识别研究严重依赖于深度神经网络（DNN）训练中的众包标记数据，并且通常针对每个单一视觉识别任务训练一个DNN，导致了一个繁琐且耗时的视觉识别范式。为了解决这两个挑战，最近对视觉-语言模型（VLMs）进行了深入研究，它从互联网上几乎无限可用的大规模图像-文本对中学习丰富的视觉-语言相关性，并能够使用单个VLM在各种视觉识别任务上进行零样本预测。本文系统地回顾了视觉语言模型在各种视觉识别任务中的应用，包括：(1) 介绍视觉识别范式发展的背景；
基于深度学习的水果识别系统设计
最新发布
z17338523033的博客
05-13 171
本文介绍了基于YOLOv5s模型和PyQt框架构建的目标检测系统。首先，YOLOv5s作为轻量级目标检测模型，在保持高精度的同时具备快速推理能力。其次，系统通过PyQt设计了用户界面，包含注册和登录功能，使用SQLite3数据库存储用户信息。登录成功后进入检测界面，提供模型加载、数据加载、开始检测和摄像头检测等功能。用户可以选择训练好的模型和数据进行目标检测，检测结果实时显示在界面中。该系统整合了深度学习模型和图形界面，实现了便捷的目标检测功能。
Pycharm（十九）深度学习
higerwy的博客
05-06 1301
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
深度学习计算
m0_73776435的博客
05-13 412
深度学习的飞速发展离不开强大的计算能力支撑。从张量计算到 GPU 加速，从自动微分到分布式计算，深度学习计算的每一项技术都如同精密仪器中的关键齿轮，推动着模型性能的不断提升。本文深入剖析深度学习计算的核心技术、优化策略以及前沿趋势，为你全方位解锁智能模型背后的算力密码。
【深度学习|学习笔记】 梯度提升机（Gradient Boosting Machines, GBM）模型详解，附代码。
2401_89898861的博客
05-10 1118
【深度学习|学习笔记】 梯度提升机（Gradient Boosting Machines, GBM）模型详解，附代码。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1329
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
CNN处理图片
minato_wdz的博客
05-09 929
iltera​rgnp..array([[1/162/16erfiltera​rg−1)==[3120。
极限学习机进行电厂相关数据预测
leo__520的博客
05-13 575
使用极限学习机（Extreme Learning Machine, ELM）进行电厂相关数据预测的详细步骤和MATLAB代码示例。假设任务是预测电厂发电量或设备状态（如温度、压力），代码包含数据预处理、ELM模型构建、训练与预测全过程。其中，(\mathbf{H} = g(\mathbf{X} \mathbf{W}_{\text{hidden}} + \mathbf{b})) 为隐层输出，(g) 为激活函数（如Sigmoid、ReLU）。通过调整隐层节点数、激活函数和正则化参数，可优化模型性能。
深度学习 自然语言处理(RNN) day_02
qq_59348412的博客
05-13 804
感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成 一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一 层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内， 神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。循环神经网络（Recurrent Neural Network，RNN）是一种神经网络结构，专门用于处理序列数据。
The Deep Learning Compiler: A Comprehensive Survey (深度学习编译器：全面调查)
m0_58988991的博客
05-13 620
《深度学习编译器：全面调查》一文由Mingzhen Li等人撰写，发表于2021年3月1日的《IEEE Transactions on Parallel and Distributed Systems》。该文章系统性地回顾了深度学习编译器的发展现状，探讨了其在优化深度学习模型部署和性能提升中的关键作用。文章详细分析了现有深度学习编译器的架构、优化技术及其在不同硬件平台上的应用，并指出了当前面临的挑战和未来的研究方向。这项调查为研究人员和开发者提供了宝贵的参考，有助于推动深度学习编译器技术的进一步发展。
深度学习驱动的多模态人类动作识别：TPAMI 2022 年综述
《TPAMI 2022 不同数据模态的人类动作识别综述》是一篇深入研究了深度学习在人类动作识别中所扮演关键角色的文章，旨在为研究者和开发者提供一个全面的视角，帮助他们理解如何有效利用不同数据模态以提升人类动作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值