损失函数搜索
文章平均质量分 93
通街市密人有
https://github.com/LinY-ct
展开
-
AUTO SEG-LOSS SEARCHING METRIC SURROGATES FOR SEMANTIC SEGMENTATION
设计合适的损失函数是训练深度网络的关键。特别是在语义分割领域,针对不同的场景提出了不同的评价指标。尽管广泛采用的交叉熵损失及其变体取得了成功,但损失函数和评估指标之间的不一致会降低网络性能。同时,手动设计每个特定度量的损失函数需要专业知识和大量人力。在本文中,我们提出通过搜索每个度量的可微代理损失来自动设计度量特定的损失函数。我们用参数化函数代替度量中的不可微操作,并进行参数搜索以优化损失曲面的形状。引入两个约束来正则化搜索空间,提高搜索效率。原创 2024-01-12 19:50:16 · 1064 阅读 · 0 评论 -
AM-LFS: AutoML for Loss Function Search
设计有效的损失函数在视觉分析中起着重要的作用。大多数现有的损失函数设计依赖于手工设计的启发式,这需要领域专家探索大的设计空间,这通常是次优的,而且很耗时。在本文中,我们提出了一种用于损失函数搜索(AM-LFS)的自动学习方法,它利用强化在训练过程中搜索损失函数。该工作的关键贡献在于设计了搜索空间,通过将一组现有的流行损失函数包含在一个统一的公式中,保证了在不同视觉任务上的泛化和可移植性。我们还提出了一个有效的优化框架,可以在训练过程中动态优化损失函数的分布参数。原创 2023-04-26 16:34:29 · 163 阅读 · 0 评论