多任务学习-An Overview of Multi-Task Learning in Deep Neural Networks论文笔记

An Overview of Multi-Task Learning in Deep Neural Networks论文笔记

 

• 概述：多任务学习有很多形式，如联合学习（Joint Learning），自主学习（Learning to Learn），借助辅助任务学习（Learning with Auxiliary Tasks）等。一旦发现正在优化多于一个的目标函数，就可以通过多任务学习来进行有效求解。即使优化目标只有一个，利用辅助任务仍然有可能改善主任务的学习性能。
• 目标：利用额外的信息来源来提高当前任务的学习性能，包括提高泛化准确率、学习速度和学习的模型的可理解性。
• 从机器学习的角度来看，多任务学习可视为一种归纳迁移（inductive transfer）。归纳迁移（inductive transfer）通过引入归纳偏置（inductive bias）来改进模型，使得模型更倾向于某些假设。举例来说，常见的一种归纳偏置（Inductive bias）是L1正则化，它使得模型更偏向于那些稀疏的解。在多任务学习场景中，归纳偏置（Inductive bias）是由辅助任务来提供的，这会导致模型更倾向于那些可以同时解释多个任务的解，这样做会使得模型的泛化性能更好。
• 归纳偏置：提供更强的归纳偏置是迁移提高泛化能力的一种方法，可以在固定的训练集上产生更好的泛化能力，或者减少达到同等性能水平所需要的训练样本数量。归纳偏置会导致一个归纳学习器更偏好一些假设