CNN网络模型的发展概述

写在开篇

        这个系列主要介绍卷积神经网络模型(CNN)在发展进程中的重要的、有代表性的CNN模型的原理和实现。这第一篇文章简要介绍一下CNN发展进程中的几个关键节点(即经典CNN模型)。

经典CNN网络之VGG网络原理深度解析

经典CNN网络之GoogLeNet系列网络原理深度解析

经典CNN网络之ResNet网络深度解析与代码实现

经典CNN网络之DenseNet模型解析与代码实现

经典CNN网络之SENet网络深入解析

正文

        神经网络(现在大家更喜欢称为深度学习)的发展经历了三起三落(这里我就不展开叙述了,有兴趣的童鞋可以自己搜索相关内容了解),而CNN神经网络的发展为此做出了巨大贡献,从最基础的LeNet5在到ImageNet竞赛中AlexNet,全球的的学者和研究团队由此开发设计了很多优秀的CNN网络模型,其中比较经典且有影响力的主要有VGG、GoogLeNet、ResNet、DenseNet。对于这几个经典网络,在此系列我会详细论述。

        1994年诞生的手写字体识别模型LeNet5掀起了卷积神经网络的浪潮,后续的各种优秀的CNN网络都是在它的基础上发展而来,由此大家应该可以理解它的重要地位和影响。

        虽然LeNet5为卷积神经网络奠定了基础,但是神经网络真正引起大家的关注是在2012年的ImageNet竞赛中的冠军模型AlexNet,该模型作者Alex Krizhevsky的老师是神经网络领域三巨头之一的Hinton,想必大家应该都听说过吧。AlexNet模型在ImageNet数据集上1000个类别识别拿到了top1:37.5%和top5:17%的error rates,超过了传统的人工设计模型。

        CNN网络模型引起了大家的关注之后,很多学者和研究团队开始想办法提升网络模型的性能,在沉寂了一年之后,在2014年的ImageNet竞赛中,横空出世的两个优秀网络拿到了这次比赛的冠亚军,冠军GoogLeNet,亚军VGG.

        随着网络深度的不断增加,模型在训练过程中出现梯度消失/爆炸和模型退化等问题(此时模型的深度还没超过30层),CNN模型的优化达到瓶颈。针对此问题,青年一代的大神何凯明设计了ResNet,在2015年的ImageNet竞赛中一举夺魁,使得神经网络的深度能超过百层达到上千层。

        借鉴ResNet跨网络层连接输入输出的思想,DenseNet模型的作者从feature入手,通过密集的跨网络层连接对feature map的极致利用达到更好的效果和更少的参数,当之无愧成为2017年计算机视觉顶会的年度最佳论文。

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值