为什么现在的CNN模型都是在Resnet、GoogleNet、VGGNet或者AlexNet上调整的？

最新推荐文章于 2023-12-30 19:15:39 发布

贱小杜

最新推荐文章于 2023-12-30 19:15:39 发布

阅读量751

点赞数 1

分类专栏：计算机视觉论文

本文链接：https://blog.csdn.net/qq_41088475/article/details/105756639

版权

计算机视觉论文专栏收录该内容

19 篇文章 17 订阅

订阅专栏

这些基本模型的改进需要大量的实验和经验积累，一般的研究者和实验室很难负担得起，

一般来说，某CNN网络在imagenet上面的分类结果越好，其deep feature的generalization能力越强。最近出现蛮多论文，里面在benchmark上面的比较是自己方法的核心网络换成resnet，然后去比别人基于vgg或者alexnet的方法，自然要好不少。所以对于某个CV的问题，选一个优秀的核心网络作为基础，然后fine-tune, 已经是套路，这点从ResNet那篇论文的citation的增长就可以看出来。fine-tune的原因一是训练AlexNet等网络需要imagenet, places等million级别的数据，一般的CV任务都没有这么多数据。二是因为pre-trained model本身的feature已经足够generalizable，可以立刻应用到另外一个CV任务。至于如何开发出新的CNN分类模型，这就需要积累训练CNN的经验和直觉，以及大量的计算资源来尝试不同的网络结构。一般的研究者和实验室很难负担得起。但如果能搞出个如ResNet一样的牛逼网络，瞬间Best Paper。

发表论文的同学多数是在校的phd同学，首先大家有强大的科研压力和ddl的压力，时间和精力只允许大家在有限的范围探索。因此基于vision问题的特性进行各种模型和算法方案的改进肯定是更有novelty（也是更符合发paper的思路），所以有限的精力就放在了另外的方面而继续沿用目前VGG/GoogleNet/AlexNet/Resnet这样的baseline

进行基本模型的改进需要大量的实验和尝试，很有可能投入产出比比较小。能做到Kaiming ResNet这样的工作真是需要大量的实验积累加强大的灵感，真是偶像。我们大部分人自己的实验过程，很多之前预想的可能会work的idea经过尝试可能提升有限或者不work.

这个领域只有一小部分人是在研究分类的网络结构，其他的应用的研究者，包括视觉、自然语言等更专注于本领域的内部知识，在一个base网络的基础之上进行修改，以验证自己方法的有效性。而这些网络正好提供了这样的baseline，所以何乐而不为呢。自己设计的网络结构有可能也会达到很好的效果，但这就偏离了自己本身的研究点。

Resnet、GoogleNet、VGGNet、AlexNet演进关系

最后我再梳理下这些网络之间的关系。我个人觉得这几个网络是这样演变而来的.AlexNet - > VGG: VGG可以看成是加深版本的AlexNet. 都是conv layer + FC layer.
Network in Network -> GoogLeNet: NIN本身大家可能不太熟悉，但是我个人觉得是蛮不错的工作，Lin Min挺厉害。GoogLeNet这篇论文里面也对NIN大为赞赏。NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小，本身的网络套网络的结构，也激发了后来的GoogLeNet里面的各种sub-network和inception结构的设计.
ResNet：这个网络跟前面几个网络都不同。我清楚记得这篇论文是在去年年底我去开NIPS的时候release到arxiv上的。当时我开会间歇中看着论文里面在cifar上面的一千层的resnet都目瞪狗呆了。。。然后再看到ResNet刷出了imagenet和COCO各个比赛的冠军，当时就觉得如果这论文是投CVPR, 那是绝对没有争议的Best paper, 果不其然。好像resnet后来又有些争议，说resnet跟highway network很像啥的，或者跟RNN结构类似，但都不可动摇ResNet对Computer Vision的里程碑贡献。当然，训练这些网络，还有些非常重要的trick, 如dropout, batch normalization等也功不可没。等我有时间了可以再写写这些tricks。
作者：周博磊
链接：https://www.zhihu.com/question/43370067/answer/128881262
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处