AM-LFS: AutoML for Loss Function Search论文解读

最新推荐文章于 2023-04-26 16:34:29 发布

MingSun95

最新推荐文章于 2023-04-26 16:34:29 发布

阅读量1.3k

点赞数 2

分类专栏： CV 文章标签： auto machine learning 目标检测

本文链接：https://blog.csdn.net/qq_18882399/article/details/92851316

版权

AM-LFS是商汤科技与悉尼大学合作的研究，旨在通过自动机器学习解决视觉任务中最佳损失函数的选择问题。研究提出了一个双层次优化框架，结合强化学习策略搜索损失函数的超参数，适用于不同的视觉任务。实验表明，这种方法在分类、人脸识别和行人重识别等任务上取得了优于传统损失函数的效果。

摘要由CSDN通过智能技术生成

在这里插入图片描述

一、研究动机

该文章是五月份商汤科技与悉尼大学联合发布在arxiv上的文章，用自动机器学习来获取视觉任务中的最佳损失函数。众所周知，一个有效的损失函数在视觉任务中起了关键作用，然而现在大部分的损失函数都是人为设定，不仅耗时而且一般只能获得次优解。为了缓解上述问题，AM-LFS在训练阶段利用了强化的思想来自动搜索合适的损失函数的超参数，同时又设计了一个搜索空间能够适应于不同的视觉任务，将不同任务的不同损失函数用一种统一的形式表示，最后提出一个双层次优化框架来同时更新损失函数参数分布和网络结构参数。本方法主要针对ArcFace, CosineFace和 SphereFace,原始Softmax和Focal loss这几种常用视觉任务loss进行了分析和拟合，其效果如下所示，虚实线几乎重合，说明其泛化和迁移性能不错。
在这里插入图片描述

二、研究方法

常见损失函数分析
针对原始的Softmax损失函数，分解成最后一层连接层权重和该层输入的L2范数之积，如下式，其中fj表示class score f向量的第j个元素。N表示训练数据的数量。log函数的括号里面的内容就是Softmax函数。f各个元素代表各个类别的得分，θ代表全连接权重向量和输入向量的夹角。