Multitask
文章平均质量分 93
calvinpaean
Carpe diem.
展开
-
Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文学习
对于一个多任务损失函数Lt∑witLitLt∑witLit,目的是学习函数witw_i(t)wit将不同任务的梯度范数置于一个区间,这样我们能得出它们的相互影响的大小;动态调节梯度范数,不同的任务可以相同的速率学习。首先,作者定义一些关于梯度的相关量:WWW:我们要应用 GradNorm 的网络权重W⊂WW⊂W的子集。为了节约计算成本,WWW通常用权重最后一个共享层。原创 2023-09-25 12:47:12 · 91 阅读 · 0 评论 -
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 论文学习
论文地址:Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 1. 解决了什么问题? 多任务学习从一个共享的表征学习多个目标函数,能提升学习效率和预测的准确率。场景理解算法需要同时理解场景的几何和语义信息,但回归和分类算法用到的单位和尺度各不相同。 以前的方法将各项损失简单地加权求和,同时学习多个任务,各损失的权重要么通过均匀采样得到,要么需要手动调节。多任务学习的表现好坏高度取决于各任原创 2023-05-09 10:07:56 · 220 阅读 · 1 评论