多任务学习:网络结构

多任务学习:网络结构

前言

   多任务学习(multi-task learning)是未来有研究前景的机器学习领域,目的是利用多个相关学习任务之间的有用信息和共享相关任务之间的特征,提升各子任务的性能。多任务学习通常包括两个模块,共享参数和特定任务的参数。共享参数用于表示多个任务之间的共性,而特定任务的参数用于执行独立的处理。在多个CNNs构建的MTL网络中,共享参数在执行关键特征提取时被称为编码器,特定任务的参数在从编码器解码信息时被称为解码器。MTL网络根据共享参数的方式分为硬参数共享和软参数共享两类。在硬参数共享中,初始层或参数在不同任务之间共享,因此这些参数对所有任务都是通用的。在软参数共享中,允许不同的任务具有不同的初始层,初始层之间具有一定程度的共享。

网络一:MultiNet++

论文链接:http://openaccess.thecvf.com/content_CVPRW_2019/html/WAD/Chennupati_MultiNet_Multi-Stream_Feature_Aggregation_and_Geometric_Loss_Strategy_for_Multi-Task_CVPRW_2019_paper.html

2019CVPR会议文章:《MultiNet++: Multi-Stream Feature Aggregation and Geometric Loss Strategy for Multi-Task Learning》(MultiNet++:基于多流特征聚合和几何损失策略的多任务学习)

  • 面向领域:自动驾驶中的各种视觉感知任务
  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多任务学习框架是一种训练深度神经网络模型的方法,可以同时处理多个相关的任务,从而提高模型的泛化能力。下面是使用多任务学习框架的一般步骤: 1. 确定需要处理的任务:多任务学习框架通常适用于多个相关联的任务,比如文本分类、情感分析和命名实体识别等。 2. 确定共享层:在多任务学习框架中,不同的任务可以共享部分层次的参数,这些层被称为共享层。共享层的选择需要根据不同任务之间的相似度和关联度来确定。 3. 定义模型结构:在确定了需要处理的任务和共享层之后,需要定义整个模型的结构。在多任务学习框架中,每个任务都有自己的一组输出层,这些层可以共享共同的输入层和共享层,但是每个任务的输出层是独立的。 4. 定义损失函数:在多任务学习框架中,每个任务都有自己的损失函数,这些损失函数可以加权求和来得到最终的总损失函数。可以根据不同任务之间的重要性来调整损失函数的权重。 5. 训练模型:使用训练数据对模型进行训练,优化损失函数。在训练过程中,可以使用一些技巧来提高模型的性能,比如批量归一化、dropout、学习率衰减等。 6. 评估模型:使用测试数据对模型进行评估,比较模型在不同任务上的性能表现。 7. Fine-tuning:如果发现某个任务的性能表现不佳,可以对该任务进行 fine-tuning,调整模型参数,重新训练模型。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值