深度学习loss值变为0_深度学习——深度学习的多个loss如何平衡？

问题：在一个端到端训练的网络中，如果最终的loss = a*loss1+b*loss2+c*loss3...,对于a,b,c这些超参的选择，有没有什么方法？

链接：https://www.zhihu.com/question/375794498

知乎高质量回答

一、作者：Evan

字节跳动研究员

https://www.zhihu.com/question/375794498/answer/1052779937

本文来自知乎问答，仅供学习参考，著作权归作者所有。

其实这是目前深度学习领域被某种程度上忽视了的一个重要问题，在近几年大火的multi-task learning，generative adversarial networks, 等等很多机器学习任务和方法里面都会遇到，很多paper的做法都是暴力调参结果玄学……这里偷偷跟大家分享两个很有趣的研究视角：

1. 从预测不确定性的角度引入Bayesian框架，根据各个loss分量当前的大小自动设定其权重。有代表性的工作参见Alex Kendall等人的CVPR2018文章 Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics，https://arxiv.org/abs/1705.07115。文章的二作Yarin Gal是Zoubin Ghahramani的高徒，近几年结合Bayesian思想和深度学习做了很多solid的工作。