Searching Loss Functions from Scratch for Generic Tasks
从头开始寻找通用任务的损失函数
自动化方面已取得重大进展深度网络中各种组件的设计。但是,针对一般任务的损失函数的自动设计各种评估指标的研究仍不足。以前有关手工制作损失功能的工作严重依赖依靠人类的专业知识,这限制了它们的可扩展性。同时,现有的寻找损失函数的努力主要是重点关注特定任务和特定指标,以及特定于任务的试探法。这类作品是否可以延期通用任务的验证和质疑。在这个在本文中,我们提出了AutoLoss-Zero,这是第一个从头开始搜索损失函数以寻找通用函数的通用框架任务。具体来说,我们设计一个基本的搜索空间仅由原始数学运算符组成,以适应异构任务和评估指标。进化算法的一种变体被用于发现基本搜索空间中的损失函数。开发了一种损失拒绝协议和梯度等效检查策略,以提高搜索效率,适用于一般任务。在各种计算机视觉任务上的大量实验表明,我们搜索到的损失函数等于或优于现有的损失函数,可以很好地推广到不同的数据集和网络。代码应被发布。