多任务学习在深度学习中简单使用

多任务学习允许模型同时处理多个任务,如交替学习和联合学习。交替学习通过独立的损失函数和优化器交替训练任务,适合不同数据集的任务。而联合学习则将损失函数相加,适用于任务相关性强的数据集,能快速训练并减少偏向性。
摘要由CSDN通过智能技术生成

多任务学习顾名思义就是在某一进程中实现多个任务,举例来说,我们在看到一辆自行车时,会看到自行车的两个车轮,颜色,车辆标志,车辆形状,这基本都是在同一时间就可以获得的信息。而对于深度学习模型面对各式各样的需求,也需要一个模型能够实现多个任务。

首先介绍深度学习的两个简单的模型构建方式:

多任务学习基础的模型结构大致为:

(1)交替学习

交替学习的概念为模型存在共享层,但是在训练过程中是交替进行的,且损失函数和优化函数是独立的。例如给定一个选择比例(随机选择或者固定概率选择),让任务1的一个batch在此次进行训练,让任务2的一个batch在下次进行训练。

从图中可以看出,交替训练是损失函数并未相加,而是独立存在,因此只要使其能够在训练时实现交替训练。

交替

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值