何恺明团队最新力作RegNet:超越EfficientNet,GPU上提速5倍,这是网络设计新范式 | CVPR 2020...

鱼羊 十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

大神(组团)出奇招,踢馆各路神经网络。

还是熟悉的团队,还是熟悉的署名,Facebook AI实验室,推陈出新挑战新的网络设计范式。

嗯,熟悉的Ross,熟悉的何恺明,他们带来全新的——RegNet

不仅网络设计范式与当前主流“背道而驰”:简单、易理解的模型,也可以hold住高计算量。

而且在类似的条件下,性能还要优于EfficientNet,在GPU上的速度还提高了5倍

新的网络设计范式,结合了手动设计网络神经网络搜索 (NAS)的优点:

和手动设计网络一样,其目标是可解释性,可以描述一些简单网络的一般设计原则,并在各种设置中泛化。

又和NAS一样,能利用半自动过程,来找到易于理解、构建和泛化的简单模型。

论文毫无疑问也中了CVPR 2020。

PS:论文是3月30日在arXiv发布,So 大家不用担心是愚人节的玩笑……

三组实验对比,近乎“大满贯”

RegNet在性能上就是如此突出。

实验在ImageNet数据集上进行,目标非常清晰:挑战各种环境下的神经网络

我们先来看下,与一众流行移动端神经网络的比较。

最近,许多网络设计工作都集中在移动机制(mobile regime,∼600MF)。

上表就是600MF的RegNet,与这些网络比较的结果。可以看出,无论是基于手动设计还是NAS的网络,RegNe的表现都很出色。

何恺明团队强调,RegNet模型使用基本的100 epoch调度(schedule),除了权重衰减外,没有使用任何正则化。

而大多数移动网络使用更长的调度,并进行了各种增强,例如深度监督、Cutout、DropPath等等。

接下来,是RegNet与标准基线ResNetResNeXT的比较。

为了公平起见,研究人员在相同的训练设置下,对它们进行对比,如下图所示:

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值