GradNorm的思路实际上是用「梯度的模长」和「初始Loss」来做归一化,以下转载自: https://kexue.fm/archives/8870 和 GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
关于多任务中GradNorm的解读
最新推荐文章于 2024-05-10 17:34:52 发布
GradNorm的思路实际上是用「梯度的模长」和「初始Loss」来做归一化,以下转载自: https://kexue.fm/archives/8870 和 GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks