[论文笔记] Gradient Surgery for Multi-Task Learning

已于 2024-03-18 14:19:54 修改
阅读量508 收藏
点赞数 4
分类专栏： 论文笔记 文章标签： 人工智能
于 2024-03-18 11:57:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/136804296
版权
这篇论文笔记探讨了在多任务学习（multi-task learning）中遇到的优化挑战，特别是不同任务间的梯度冲突。通过Gradient Surgery方法，文章提出了解决这种冲突的策略，旨在优化multi-task RL中的训练过程。该方法关注于任务之间的不相似性和相互影响，旨在提高学习效率。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
Convergence of CR-gradient learning algorithm for Multi-valued Neuron
02-17
多值神经元的CR-梯度学习算法的收敛性，徐东坡，梁爽，基于CR微分理论,我们提出一个CR梯度学习算法用于训练多值神经元模型。在训练样本是$k$-可分的条件下,我们证明了所提出的新学习算法�
论文精读 —— Gradient Surgery for Multi-Task Learning
Waldocsdn的博客
09-05 2361
在这篇论文中，作者确定了三种导致不良梯度干扰的多任务优化环境条件，并开发了一种简单而通用的方法，以避免任务梯度之间的这种干扰。作者提出了一种梯度手术形式，将任务的梯度投影到任何其他具有冲突梯度的任务的梯度的法平面上。在一系列具有挑战性的多任务监督和多任务RL问题上，这种方法带来了效率和性能的大幅提升。此外，它与模型无关，并且可以与先前提出的多任务架构结合，以增强性能。
Gradient Surgery for Multi-Task Learning
1066196847的博客
04-26 605
参考文章：论文阅读：Gradient Surgery for Multi-Task Learning - 知乎
多任务学习优化总结 Multi-task learning（附代码）
热门推荐
Treasure Ashes
07-29 1万+
Multi-task Learning(Review)多任务学习概述 多任务学习优化（Optimization in Multi-task learning） Multi-Task Learning as Multi-Objective Optimization 阅读笔记 Multi-Task Learning Using Uncertainty to Weigh Losses GradNorm：Gradient Normalization for Adaptive Loss Balancing
【领域泛化论文阅读】Domain Generalization via Gradient Surgery
weixin_43877335的博客
06-23 412
神经网络使用梯度下降进行训练，通过梯度引导损失的优化，在多任务学习（multi-task learning，MTL）中，每个task有不同的损失函数，会导致梯度冲突，不同的task可能会使梯度指向相反的方向，通常处理冲突梯度的方法是对他们进行平均，但是研究表明[2]，简单平均会降低模型性能。与MTL处理不同的任务不同，DG处理的是不同的域，所以，论文假设在多领域的训练中会出现类似的梯度冲突。 模型的总体损失函数式(1)是每个域的损失函数的和平均加上一个正则项。 每个域的相关联的梯
推荐开源项目：PCGrad - 强大的多任务学习优化框架
gitblog_00095的博客
06-08 491
推荐开源项目：PCGrad - 强大的多任务学习优化框架 PCGradCode for "Gradient Surgery for Multi-Task Learning"项目地址:https://gitcode.com/gh_mirrors/pc/PCGrad 项目介绍 PCGrad 是一个基于 TensorFlow 的强大工具，实现了《Gradient Surgery for Multi-T...
NeurIPS2020论文接收量第一的大佬是怎样炼成的？
AI_Conf的博客
10-29 2713
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn NeurIPS，神经信息处理系统大会（Conference on Neur..
Modeling Deformable Gradient Compositions for Single-Image Super-resolution
02-10
研究论文《Modeling Deformable Gradient Compositions for Single-Image Super-resolution》提出了一种基于梯度重建的单图像超分辨率方法。该方法通过从外部图像集合中收集梯度模式字典来预测梯度场。作者发现，...
Gradient-Based Learning Applied to Document Recognition.pdf
04-17
Gradient-Based Learning Applied to Document Recognition.pdf 本文主要讨论了基于梯度的学习算法在文档识别中的应用，特别是基于卷积神经网络（Convolutional Neural Networks，CNN）和图形变换网络（Graph ...
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7257
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
多目标学习(Multi-task Learning)-网络设计和损失函数优化
来自Daisy和她的单程车票
12-01 8873
目前多目标学习主要从两个方向展开，一个是网络结构设计，一个是损失函数优化； 一、MTL网络设计 MTL网络通常可分为两种两种，一种是hard-parameter sharing不同任务间共用底部的隐层，另一种是soft-parameter sharing，形式较为多样，如两个任务参数不共享，但对不同任务的参数增加L2范数的限制；也有一些对每个任务分别生成各自的隐层，学习所有隐层的组合；这两种方式各有优劣，hard类的网络较soft不容易陷入过拟合，但如果任务差异较大，模型结果较差，但soft类网络通常参数较
多任务学习(Multi-Task Learning)
小小何先生的学习之旅
08-28 9748
  本节主要聊聊从单任务到多任务 (Multi-Task) 的机器学习。   那什么是Multi-Task Learning呢？我们又是怎么来做这个Multi-Task Learning的呢？ What is Multi-Task Learning？   首先我们需要知道什么是一个task呢？在一个task里面我们会有一个量化的指标，有这个task生成出来的数据，以及我们会有一个model去opt...
Multi-Task Learning as Multi-Objective Optimization 阅读笔记
icylling的专栏
01-10 1万+
Multi-Task Learning as Multi-Objective Optimization 阅读笔记
零基础学nlp【1】 多任务训练（Multi-task sequence to sequence learning）
rory0114的博客
03-07 1583
零基础学nlp【1】 多任务训练 论文： Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf) 整体思路 多任务训练如图所示，...
DINO&DINO v2：颠覆自监督视觉特征表示学习
最新发布
家鸽的代码屋
10-15 972
DINO系列学习总结
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1415
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
R2：RNN-心脏病预测
u012249506的博客
10-11 960
左图：训练与验证准确率训练集的准确率（蓝色线）：随着训练次数增加，呈现出平稳上升趋势，最终接近0.92左右，说明模型在训练数据上的拟合效果逐渐变好。验证集的准确率（橙色线）：一开始随着训练迭代次数增加，验证准确率也在提升，但在约20次迭代后，准确率趋于平稳，甚至有一些波动，特别在50次之后，表现出明显的下降和上升不稳定现象。右图：训练与验证损失训练集损失（蓝色线）：损失随着迭代次数逐渐下降，这表明模型在训练集上不断优化，误差减少。
gradient-enhanced multi-output gaussian process model for simulation-bas
04-29
基于模拟的渐变增强多输出高斯过程模型是一种机器学习算法，广泛用于从模拟数据中推断多个输出变量之间的关系。它是一种有监督学习模型，通过将一组输入变量映射到一组输出变量来进行预测。 渐变增强是指该模型能够通过引入梯度信息来增强预测的准确性。这个过程可以通过在高斯过程模型中使用导数信息来实现，因为高斯过程可以通过导数来表达对输入变量的敏感性。这种方法可以提高对于非线性问题和高维数据的预测能力。 该模型的优点是能够进行多输出预测，可以针对复杂的非线性关系进行建模，并且在训练过程中可以同时考虑梯度信息和预测误差。这意味着它可以减少误差传播的风险，从而更加鲁棒。 该模型在各种应用中都有广泛的用途，例如材料设计、化学反应、气候模拟和生物学研究等。然而，它也有一些局限性，例如需要大量的模拟数据进行训练，并且容易发生过度拟合的问题。因此，在应用模型时需要小心处理这些问题。 总之，基于模拟的渐变增强多输出高斯过程模型是一种强大的机器学习算法，可用于从模拟数据中预测复杂的多输出变量之间的关系。它是一种有监督学习方法，并利用梯度信息来提高预测的准确性。该模型在各种应用中都有广泛的用途，但也需要谨慎处理以避免出现误差传播和过度拟合的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值