Multi-Task Learning的几篇综述文章

最新推荐文章于 2025-01-15 16:19:49 发布

三谷秋水

最新推荐文章于 2025-01-15 16:19:49 发布

阅读量887

点赞数

分类专栏：机器学习文章标签：人工智能深度学习神经网络机器学习

本文链接：https://blog.csdn.net/yorkhunter/article/details/106537044

版权

本文介绍了多任务学习（MTL）的几篇综述文章，包括Ruder的深度学习MTL概述，强调了Hard sharing和Soft sharing两种策略，以及MTL的多种机制。Zhang和Yang的综述讨论了MTL的特征学习、低秩方法、任务聚类、任务关系学习等方法，并与其他机器学习方法结合。Thung和Wee的综述给出了MTL的定义，并按输入/输出和正则化方法分类。所有文章都强调了MTL在利用任务间关系改善泛化能力上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面分别介绍多任务学习（MTL）的三篇综述文章。

Ruder S, “An Overview of Multi-Task Learning in Deep Neural Networks”, arXiv 1706.05098, June 2017

在这里插入图片描述
深度学习方面MTL总结：
按照隐层，MTL基本分两类：Hard sharing 和 Soft sharing

在这里插入图片描述
Hard sharing在多任务之间共享隐层，降低over fitting的风险。“The more tasks we are learning simultaneously, the more our model has to find a representation that captures all of the tasks and the less is our chance of overfitting on our original task”
在这里插入图片描述
Soft sharing各任务之间有自己的模型和参数，主要靠regularization鼓励任务之间的模型参数相似。