AutoLoss-Zero:从头开始寻找通用任务的损失函数

Searching Loss Functions from Scratch for Generic Tasks

从头开始寻找通用任务的损失函数

自动化方面已取得重大进展深度网络中各种组件的设计。但是，针对一般任务的损失函数的自动设计各种评估指标的研究仍不足。以前有关手工制作损失功能的工作严重依赖依靠人类的专业知识，这限制了它们的可扩展性。同时，现有的寻找损失函数的努力主要是重点关注特定任务和特定指标，以及特定于任务的试探法。这类作品是否可以延期通用任务的验证和质疑。在这个在本文中，我们提出了AutoLoss-Zero，这是第一个从头开始搜索损失函数以寻找通用函数的通用框架任务。具体来说，我们设计一个基本的搜索空间仅由原始数学运算符组成，以适应异构任务和评估指标。进化算法的一种变体被用于发现基本搜索空间中的损失函数。开发了一种损失拒绝协议和梯度等效检查策略，以提高搜索效率，适用于一般任务。在各种计算机视觉任务上的大量实验表明，我们搜索到的损失函数等于或优于现有的损失函数，可以很好地推广到不同的数据集和网络。代码应被发布。