你的损失函数都能搜索了！港中文&商汤等提出AutoLoss-Zero：通用损失函数搜索...

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

AutoLoss-Zero: 通用的损失函数搜索框架

只需metric和data，从零开始拿到损失函数！

尽管近来自动机器学习（AutoML）的发展十分迅速，在深度学习的多个领域取得了显著进展，但是在损失函数的搜索方面，现有的方法往往仅仅关注于某个任务（如语义分割）或某个评价指标（mAP），且包含大量先验性的设计。鉴于此，来自商汤科技、香港中文大学和清华大学的研究人员们提出了一个通用于各种任务和指标的搜索框架AutoLoss-Zero，从基本数学运算构造损失函数，让损失函数搜索真正的自动起来。

AutoLoss-Zero有以下特点：

• 通用性：无需先验知识，无需手工设计，也不需要baseline损失函数作为搜索起点，从基本数学运算开始组合出多种计算机视觉任务（语义分割、目标检测、实例分割、姿态估计等）所需的损失函数；

• 高效性：只需四张V100 GPU， AutoLoss-Zero可以在48小时内从随机初始化开始搜索出达到或超过现存手工/自动设计水平的损失函数。

AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks

论文链接：https://arxiv.org/abs/2103.14026

搜索空间

 

AutoLoss-Zero使用计算图来表示损失函数，并使用上图中的基础数学运算构造损失函数。在初始化阶段，损失函数的计算图来自随机生成，不需要任何先验的搜索起点。

搜索算法

AutoLoss-Zero采用进化算法对损失函数进行搜索（如上图所示）。为了解决搜索空间的稀疏性问题，作者们提出了通用的损失函数拒绝机制（Loss-Rejection Protocol）和梯度等价性检测（Gradient-Equivalence-Check Strategy）两项技术，极大的提高了搜索速度。

如下表所示，AutoLoss-Zero采用的几项加速技术使得搜索相对于原始进化算法有了5000倍的效率提升，在48小时内使用4张V100 GPU可以探索超过个候选损失函数。

搜索效果

作者们在语义分割、目标检测、实例分割和姿态估计四项计算机视觉任务上，使用PASCAL VOC和COCO等数据集进行了实验。

实验表明，AutoLoss-Zero搜索到的损失函数均达到或超过了现有手工设计或自动搜索出来的结果，且可以泛化到不同的数据集和网络结构上。此外，作者对搜索算法进行了消融实验，进一步证明了搜索算法的有效性，如下图所示。

语义分割实验结果：

目标检测实验结果：

实例分割和姿态估计实验结果：

AutoLoss-Zero 的代码将会开源。详细介绍请参见论文：

https://arxiv.org/abs/2103.14026

推荐阅读

ICLR 2021 | Auto Seg-Loss：自动损失函数设计

PDF下载

后台回复：AutoLoss，即可下载上述论文PDF

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

重磅！CVer-垂直方向交流群成立

扫码添加CVer助手，可申请加入CVer-垂直方向 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请给CVer点赞和在看