A Survey on Multi-Task Learning

于 2023-01-29 15:13:34 发布
阅读量414 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41679123/article/details/128789037
版权

文章目录

总结

细节

方法分类

feature learning approach

认为既然tasks之间有相似性，那么必然可以学到common feature representation。用这个representation而不是用原始的feature，因为这个feature在多个任务上效果更好。

有2类方法来获得新feature：transform、selection
transform：新feature是旧feature的线性或非线性变换
selection：新feature是旧feature的子集

selection可以看作是transform的特殊情况（系数仅有0、1），具有更好的解释性

缺点：如果有任务和其他任务相关性不强，outliner会导致效果显著变差

low-rank approach

因为任务之间有相关性，模型的某个参数 w i w^i

最低0.47元/天 解锁文章
KpLn_HJL
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Multi-task learning（多任务学习）简介
MultimediaComputingGroup_blogs
08-07 2万+
1. 什么是Multi-task learning？ Multi-tasklearning （多任务学习）是和single-task learning （单任务学习）相对的一种机器学习方法。拿大家经常使用的school data做个简单的对比，school data是用来预测学生成绩的回归问题的数据集，总共有139个中学的15362个学生，其中每一个中学都可以看作是一个预测任务。单任务学习就是忽
【论文阅读】多任务学习综述《A Survey on Multi-Task Learning》
Iron_lyk Blog
11-06 861
本文从算法建模、应用和理论分析的角度对多任务学习（MTL）进行了survey。在算法建模中，我们给出了MTL的定义，然后将不同的MTL算法分为 feature learning approach, low-rank approach, task clustering approach, task relation learning approach, 和decomposition approach五类，并讨论了每种方法的特点。为了进一步提高学习任务的性能，MTL可以与其他学习范式相结合，包括半监督学习、主动
密集预测任务的多任务学习（Multi-Task Learning）研究综述 - 摘要前言篇
u014546828的博客
11-25 1381
[ TPAMI 2021 ] Multi-Task Learning for Dense Prediction Tasks: A Survey [ The authors ] • Simon Vandenhende, Wouter Van Gansbeke and Marc Proesmans Center for Processing Speech and Images, Department Electrical Engineering, KU Leuven. • Stamatios G
关于多任务学习（MTL），我们应该知道的事
bbbeoy的专栏
10-10 1346
概念相关 1. Multi-task learning 关于多任务学习的定义并没有统一的标准，这里引用《A survey on multi-task learning》中的定义： 与标准的单任务相比，在学习共享表示的同时训练多个任务有两个主要挑战： Loss Function(how to balance tasks)：多任务学习的损失函数，对每个任务的损失进行权重分配，在这个过程中，必须保证所有任务同等重要，而不能让简单任务主导整个训练过程。手动的设置权重是低效而且不是最优的，因此，自动的学习
【论文阅读】A Survey on Multi-output Learning
qq_36182852的博客
11-22 498
目录 Abstract Introduction 数据标记 五种标记表示形式 Label evaluation Multi-output learning Myriads of Output Structures Independent Vector Distribution Ranking Text Sequence Tree Image Bounding Box Link Graph Problem Definition of Multi-output Learnin
Multi-Task Representation Learning for Demographic Prediction
02-10
Multi-Task Representation Learning for Demographic Prediction
元学习综述，meta learning，A Survey of Zero-Shot Learning + poster
07-09
本资料"元学习综述，meta learning，A Survey of Zero-Shot Learning"可能涵盖了以下知识点： 1. **元学习的基本概念**：解释元学习的定义，包括它的目的、核心思想和与传统学习的区别。 2. **元学习框架**：介绍...
A Survey on Contextual Multi-armed Bandits
05-23
Contextual Multi-armed Bandits A Survey on Contextual Multi-armed Bandits.pdf
A survey on shape-constraint deep learning for medical image se
09-23
形状约束深度学习（Shape-Constrained Deep Learning）是这一领域的热点研究方向，它结合了形状先验知识与深度学习的优势，提高了医疗图像分割的精度和稳定性。本文将对这一主题进行深入探讨。 一、形状约束深度...
An Overview of multi-task learning阅读笔记
yang_daxia的博客
12-19 1345
本文是香港科技大学的Yu Zhang和 杨强博士发表在Computer science上的一篇关于MTL的综述文章。 摘要         多任务学习（MTL），通过提取各任务之间的相关信息可以提高性能表现。本文，作者第一次给出了多任务学习的定义，对多任务学习做一个综述。文中介绍了几种不同的MTL，每一组都介绍了相关的典型模型。包含多任务监督学习，多任务非监督学习，多任务半监督学习，多任务主动...
多任务学习综述之模型介绍和训练方法
qq_22751305的博客
11-18 3337
paper， code 论文详细说明了多任务网络最新的网络框架和训练方法，研究中......
多任务学习 Multi-task learning
DRACOYU的博客
11-16 8053
利用历史数据中的有用信息来帮助分析未来数据的机器学习，通常需要大量有标签数据才能训练出一个优良的学习器。深度学习模型是一种典型的机器学习模型，因为这类模型是带有很多隐藏层和很多参数的神经网络，所以通常需要数以百万计的数据样本才能学习得到准确的参数。但是，包括医学图像分析在内的一些应用无法满足这种数据要求，因为标注数据需要很多人力劳动。在这些情况下，多任务学习（MTL）可以通过使用来自其它相关学习任...
多任务学习（Multi-task learning）
Deep Learning and NLP Farm
10-24 2万+
多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，结果相互影响。
多任务学习(Multi-Task Learning)
小小何先生的学习之旅
08-28 9694
  本节主要聊聊从单任务到多任务 (Multi-Task) 的机器学习。   那什么是Multi-Task Learning呢？我们又是怎么来做这个Multi-Task Learning的呢？ What is Multi-Task Learning？   首先我们需要知道什么是一个task呢？在一个task里面我们会有一个量化的指标，有这个task生成出来的数据，以及我们会有一个model去opt...
多任务学习Multi-task Learning(MTL)概述
05-20 7101
本文学习资料主要来自An Overview of Multi-Task Learning in Deep Neural Networks 背景：只专注于单个模型可能会忽略一些相关任务中可能提升目标任务的潜在信息，通过进行一定程度的共享不同任务之间的参数，可能会使原任务泛化更好。广义的讲，只要l...
《A Survey on Transfer Learning》中文版翻译《迁移学习研究综述》
XYlittlework的博客
01-18 1万+
· 转载请注明出处网址~ · 交流讨论、合作咨询请添加微信：yx_imagination ------------------------------------------------分割线----------------------------------------------- 首先感谢（http://blog.csdn.net/magic_leg/article/detail...
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7147
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
模型汇总-14 多任务学习-Multitask Learning概述
lqfarmer的博客
06-16 1万+
1、单任务学习VS多任务学习 单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。 多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。 多任务学习（multitask learning）产生的原因？ 获取最新消息链接：获取最新消息快速通道 - lqfarmer的博客 - 博客频道 - CSDN.NET
多任务学习（Multi-Task Learning, MTL）
热门推荐
laolu1573的专栏
10-11 5万+
目录 [显示]1 背景2 什么是多任务学习？3 多任务学习如何发挥作用？3.1 提高泛化能力的潜在原因3.2 多任务学习机制3.3 后向传播多任务学习如何发现任务是相关的4 多任务学习可被广泛应用？4.1 使用未来预测现在4.2 多种表示和度量4.3 时间序列预测4.4 使用不可操作特征4.5 使用额外任务来聚焦4.6 有序迁移4.7 多个任务自然地出现4.8 将输入变成输出5 多任务深度学习应用5
a survey of deep meta-learning
最新发布
04-27
深度元学习是指学习如何学习的领域，即模型可以自适应地学习学习规则或策略，从而使模型能够更好地处理新颖的任务。这种方法涉及到多层神经网络结构和数学优化技巧，可以有效地提高模型的泛化能力和适应性，并已经在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值