【ICML2022】刻画与克服多模态深度神经网络中的学习贪心特性

最新推荐文章于 2024-07-07 00:21:56 发布
最新推荐文章于 2024-07-07 00:21:56 发布
阅读量150 收藏
点赞数
文章标签： 算法 机器学习 深度学习 人工智能 神经网络
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247567849&idx=3&sn=9052e940349a3aeb2d9e4e3464fb50ad&chksm=e9e0c062de97497410099936af188001db1b4c77f09db0ad8725fe9c1f5d6a564dcdc719ca19&scene=126&&sessionid=0
版权
本文介绍了一种新算法，用于在训练多模态深度神经网络时平衡不同模态的条件学习速度，旨在解决贪婪学习导致的模型依赖单一模态的问题。通过计算条件利用率，作者发现模态间的利用率存在不平衡，进而提出了基于条件学习速度的代理方法。实验证明，该算法能有效提高模型在ColoredMNIST、ModelNet40和NVIDIA DynamicHandGesture数据集上的泛化性能。
摘要由CSDN通过智能技术生成

279f463eed517d9422cc869bc47445df.png

来源：专知
本文为论文，建议阅读5分钟我们提出了一种算法来平衡训练过程中模态之间的条件学习速度，并证明它确实解决了贪婪学习的问题该算法提高了模型在三个数据集上的泛化能力。

a8d2452cedd53ef2920b997a6177ad9c.png

我们假设，由于多模态深度神经网络学习的贪婪性质，这些模型往往只依赖于一种模态，而不拟合其他模态。根据我们的经验观察，这种行为是反直觉的，并且损害了模型的泛化。为了估计模型对每种模态的依赖性，我们计算当模型除了另一种模态外还可以访问它时，对精度的增益。我们把这个增益称为条件利用率。在实验中，我们始终观察到不同模态之间的条件利用率不平衡，跨多个任务和架构。由于在训练过程中不能有效地计算条件利用率，我们引入了一个基于模型从每个模态学习的速度的代理，我们称之为条件学习速度。我们提出了一种算法来平衡训练过程中模态之间的条件学习速度，并证明它确实解决了贪婪学习的问题该算法提高了模型在三个数据集上的泛化能力:Colored MNIST、ModelNet40和NVIDIA Dynamic Hand Gesture。

https://www.zhuanzhi.ai/paper/a175b09bb7bfe5bc36d68b6fdf98fe86

dcb487e25f2a2e0c908871e436067771.png

b6c2e7cfbf9f7b31922ed3704dc597df.png

a04a3077e96315488678ee0f01aaad5b.png

数据派THU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
遗传算法与深度学习：优化神经网络结构
程序员光剑
05-23 1314
关键词： 遗传算法，深度学习，神经网络，结构优化，超参数调整深度学习近年来取得了令人瞩目的成就，其在图像识别、自然语言处理、语音识别等领域展现出巨大的应用潜力。然而，深度学习模型的性能很大程度上取决于其结构和超参数的设置。手动设计神经网络结构需要大量的专业知识和经验，并且效率低下。为了解决这个问题，人们开始探索使用自动化方法来优化神经网络结构，而遗传算法作为一种经典的进化算法，为解决这一问题提供了新的思路。遗传算法（Genetic Algorithm，GA）是一种模拟自然选择和遗传机制的优化算法。它将问题的
Python机器学习实战：使用Keras快速搭建深度神经网络
最新发布
程序员光剑
07-20 632
Python机器学习实战：使用Keras快速搭建深度神经网络 1. 背景介绍 1.1 问题的由来 随着数据科学和人工智能的快速发展，深度学习已成为解决复杂问题的一种重要手段。在众多深度学习框架中，Keras因其简洁的
ICML2022有意思的文章
weixin_46782905的博客
06-03 1005
ICML2022感兴趣的文章
ICML 2022 | 基于解耦梯度优化的可迁移模仿学习方法
Paper weekly
06-28 688
©作者 |刘明桓单位 |上海交通大学研究方向 |强化学习，模仿学习本文是一篇对自己工作的分享，算是一篇实验和方法上自己都还比较满意的工作。发表在 ICML 2022，文章提出了一种新的 policy structure 和优化方式，用一种解耦的方式学习 policy，使得 policy 中的模块可以被用于下游的迁移任务（不同的 action space 和 acti...
【ICML2022】可达性约束强化学习
数据派THU
05-20 518
来源：专知 本文为论文，建议阅读5分钟 本文提出了一种可达性CRL (RCRL)方法，利用可达性分析来刻画最大可行集。约束强化学习(CRL)最近引起了人们的极大兴趣，因为满足安全约束对现实世界的问题至关重要。然而，现有的CRL方法对折现累积成本的约束通常缺乏严格的定义和安全性保证。另一方面，在安全控制研究中，安全被定义为持续满足一定的状态约束。这种持久安全只在状态空间的一...
【计算机科学】【2019.06】卷积神经网络的贪婪分层训练
weixin_42825609的博客
03-24 489
本文为美国麻省理工学院（作者：Loc Quang Trinh）的硕士论文，共63页。 分层训练是一种端到端反向传播的深度卷积神经网络训练方法。尽管以前的工作未能证明分层训练的可行性，特别是在ImageNet等大规模数据集上，但最近的工作表明，在特定体系结构上的分层训练可以产生极具竞争力的性能。在ImageNet上，分层训练网络的性能与许多最先进的端到端训练网络相当。 在这篇论文中，我们比较了两种训练方法在各种网络架构下的性能差距，并进一步分析了分层训练可能存在的局限性。我们的研究结果表明，在经过一定的关键.
基于深度学习的动态手势数据集及论文整理
sliv_ery的博客
09-22 8995
基于深度学习的动态手势论文整理前言数据集动作识别数据集动态手势数据集论文202120202019201820172016201520142013结尾 前言 目前研究的课题是基于深度学习的手势识别，读了该领域的一些论文，也了解了一些关于动作识别和手势识别的数据集，现整理下来，希望可以帮助刚开始接触该方向的研究生，尽快了解前人所做的贡献。以下提到的论文不涉及姿态估计等领域，都是基于RGB图像、深度图像等模态进行手势等动作的识别。 数据集 包含了常用的动作识别数据集和手势识别数据集。 动作识别数据集 UCF10
多模态大模型：技术原理与实战 多模态大模型在医疗健康领域中的应用
程序员光剑
07-07 948
在医疗健康领域，数据多样性是其特点之一。医疗数据包括文本、图像、声音、视频等多种模态，每种模态都蕴含着丰富的信息。随着大数据和人工智能技术的发展，如何有效地整合这些多模态数据，提取有价值的信息并进行智能分析，成为了亟待解决的问题。多模态大模型正是为了解决这一挑战而诞生的，它能够同时处理多种模态的数据，从而提升医疗诊断、预测、治疗等多个方面的精准度和效率。多模态大模型通常基于Transformer架构，能够处理序列化输入，同时引入模态特定的特征提取器。
【强化学习论文合集】三十六.2022国际机器学习大会论文(ICML2022)
计算机科研杂货铺
11-23 3897
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 本专栏整理了近几年国际顶级会议中，涉及强化学习（Reinforcement Learning, RL）领域的论文。顶级会议包括但不限于：ICML、AAAI、IJCAI、NIPS、ICLR、AAMAS、CVPR、ICRA等。
多模态大模型：技术原理与实战 全球多模态大模型介绍
程序员光剑
06-11 577
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
2022年顶会accepted papers list(NeurIPS/CVPR/ICML/ICLR/ECCV/AAAI/IJCAI/WWW...)
热门推荐
lijinde07的博客
01-23 5万+
Accepted papers list（2022.1.23） AAAI 2022 Accepted papers list：https://aaai.org/Conferences/AAAI-22/wp-content/uploads/2021/12/AAAI-22_Accepted_Paper_List_Main_Technical_Track.pdf [Submission of archival versions of papers for publication in the AAAI digi
​一文梳理ICML 2022中图机器学习热点和趋势
Paper weekly
08-19 2603
©作者 |Mikhail Galkin，Zhaocheng Zhu译者 |Zhaocheng Zhu单位 |Mila研究所/麦吉尔大学/蒙特利尔大学研究方向 |图机器学习，知识图谱每年 ICML 都汇集了全球顶级 AI 研究者们的不少工作。在刚过去的 ICML 2022 中，我们看到了上百篇图机器学习相关的工作，以及不少相关的 Workshop [1]。在此，我们和大家来分享一下当下图机器...
2022年顶会accepted papers list
helloworld_Fly的博客
07-29 1701
WWW2022接收的论文https//www2022.thewebconf.org/accepted-papers/更新IJCAI2022、ICML2022、ACL2022全文。ACMMM2022等待录取已出。NeurIPS2022已经截稿。ECCV2022录取结果已出。KDD2022录取结果已出。
深层网络的贪婪逐层预训练方法（greedy layer-wise pre-training）
weixin_30776863的博客
04-16 1916
1. 深层网络的贪婪逐层预训练方法由Bengio等人在2007年提出，是一种重要的深度神经网络参数初始化和预训练方法。 2. 同时它也是一种堆叠自编码器，对于很多数据来说，仅使用两层神经网络的自编码器还不足以获取一种好的数据表示。为了获取更好的数据表示，我们可以使用更深层的神经网络。 深层神经网络作为自编码器提取的数据表示一般会更加抽象，能够更好地捕捉到数据的语义信息。在实践中经常使用...
ICML2022丨时间序列论文汇总
weixin_40920183的博客
08-20 1823
作者：贾子钰（新加坡国立大学）研究方向：时序预测国际机器学习大会(International Conference on Machine Learning，简称ICML) 是由国际机器学习学会（IMLS）主办的机器学习国际顶级会议 (CCF-A)ICML 2022 共收到5630 投稿，接收1117 篇 short oral，118篇 long oral，录用率为21.94%。整理了ICML 2...
论文笔记《Hand Gesture Recognition with 3D Convolutional Neural Networks》
weixin_30656145的博客
08-25 614
一、概述 　　Nvidia提出的一种基于3DCNN的动态手势识别的方法，主要亮点是提出了一个novel的data augmentation的方法，以及LRN和HRn两个CNN网络结合的方式。 　　3D的CNN主要是使用了三维的卷积核去处理视频序列，是视频分析中常用的方法之一。 　　这里是可以识别手语这种动态连续的手势的。 　　 二、亮点 　　首先..竟然没有state of art.....
手势识别Readme文档
wgq2741129899的博客
01-22 283
Motion Fused Frames (MFFs) Pytorch implementation of the article Motion fused frames: Data level fusion strategy for hand gesture recognition - Update: Code is updated for Pytorch 1.5.0 and CUDA 10.2 Installation Clone the repo with the following comman
阿⾥达摩院最新FEDformer，⻓程时序预测全⾯超越SOTA｜ICML 2022
zandaoguang的博客
06-28 3962
视学算法报道编辑：好困 LRS【新智元导读】阿里巴巴达摩院最近发布了一个新模型FEDformer模型，不光计算复杂度降为线性，预测精度还比SOTA高22.6%时间序列预测在众多领域中（例如电力、能源、天气、交通等）都有广泛的应用。时间序列预测问题极具挑战性，尤其是长程时间序列预测（long-term series forecasting）。在长程时间序列预测中，需...
【教程】如何在ICML上查找历年best paper
qq_41995574的博客
10-19 6786
        ICML 是国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。但还是好多人不知道如还在icml中找到每年的最佳文章，下面我就告诉大家如何找到历年的best paper。        以2018年和2015年为例。 第一步：百度搜索IMCL，第一条搜索记录即为imcl官网；或直接输入网址https://icml.cc/ 第...
深度学习与符号推理融合：图神经网络在云栖大会的新突破
在参数化为神经网络的过程中，Dai等人在ICML 2016年的工作中提出了一种有效的方法，这种迭代更新机制使得GNNs 能够捕捉到图的局部和全局特征。GNNs 可以分为监督学习、生成模型和强化学习等应用场景，如在节点分类、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值