商汤使用AutoML设计Loss函数,全面超越人工设计

点击我爱计算机视觉标星,更快获取CVML新技术


深度学习领域,神经架构搜索得到的算法如雨后春笋般出现。

今天一篇arXiv论文《AM-LFS: AutoML for Loss Function Search》,商汤科技揭示使用AutoML方法设计Loss函数,在图像分类、人脸比对、行人重识别等任务中验证其比人工设计的Loss更优秀。

论文作者信息:

其主要思想是设计一种有效的搜索空间,使其可以囊括基于间隔的softmax loss函数(拥有鉴别表示的能力),和以Focal Loss为代表的的重加权方法(解决样本不平衡问题)。

下图是作者提出的搜索空间与现有loss函数的示例,

可见在作者提出的搜索空间里,可以有效近似现存的优秀的手工设计的loss函数。

AM-LFS 伪代码步骤:

通过不断的增加epoch选择最高分数R,更新模型,得到最终的loss函数模型。

实验结果

作者在CIFAR-10进行了分类实验:

相比softmax baseline 显然取得了更好的结果。

作者在人脸比对数据集MageFace上进行了实验:

取得了超越目前state-of-the-art ArcFace的精度。

下面是在行人重识别问题上两个数据集的结果:

相同特征提取算法换上新的loss 函数,取得了明显的精度提升。

论文地址:

https://arxiv.org/pdf/1905.07375v1.pdf

加群交流

NAS越来越重要了,关注最新的神经架构搜索技术,欢迎加入52CV-NAS专业讨论群,扫码添加CV君拉你入群,

(请务必注明:NAS)

喜欢在QQ交流的童鞋,可以加52CV官方QQ群:702781905。

(不会时时在线,如果没能及时通过验证还请见谅)


长按关注我爱计算机视觉

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值