深度学习-CNN卷积神经网络经典模型:AlexNet、VGG、GoogleNet、ResNet、U-Net

104人阅读 评论(0) 收藏 举报
分类:

学习李伟老师《深度学习》课程


AlexNet:现代神经网络的起源

基本构成:卷积层+池化层+全连接层

背景

这里写图片描述
截至 2016 年,ImageNet 中含有超过 1500 万由人手工注释的图片网址,也就是带标签的图片,标签说明了图片中的内容,超过 2.2 万个类别。其中,至少有 100 万张里面提供了边框(bounding box)。

从 2010 年以来,ImageNet 每年都会举办一次软件竞赛,也即 ImageNet 大规模视觉识别挑战赛(ILSVRC),参赛程序会相互比试,看谁能以最高的正确率对物体和场景进行分类和检测,不仅牵动着产学研三界的心,也是各团队、巨头展示实力的竞技场。

传统方法思路

  • 1.图片特征提取
  • 2.机器学习分类(SVM)

AlexNet结构

AlexNet使用两个GPU,共有5个卷积层,3个全连接层,第1,2,5这三个卷积层有pool池化层
这里写图片描述

层数 名称 说明
1 第一层卷积层 卷积核个数48*2,卷积核尺度11*11*3,步长为4,总的生成特征图单元数55*55*48*2
2 第一层池化层 输入特征图55*55,池化尺度3*3,步长为2,输出特征图尺度27*27,总的生成特征图单元数27*27*48*2
3 第二层卷积层 卷积核个数128*2,卷积核尺度5*5*3,步长为1,总的生成特征图27*27*128*2
4 第二层池化层 输入特征图27*27,池化尺度3*3,步长为2,输出特征图尺度13*13,总的生成特征图单元数13*13*128*2
5 第三层卷积层 卷积核个数192*2,卷积核尺度3*3*3,步长为1,总的生成卷积特征图单元数13*13*192*2
6 第四层卷积层 卷积核个数192*2,卷积核尺度3*3*3,步长为1,总的生成卷积特征图单元数13*13*192*2
7 第五层卷积层 卷积核个数128*2 ,卷积核尺度3*3*3,步长为1,总的生成卷积特征图单元数13*13*128*2
8 第五层池化层 输入特征图13*13,池化尺度3*3,步长2,输出特征图尺度6*6,总的生成特征图单元数6*6*256
9 第一层全连接层 输入特征图6*6*256,输出4096,全连接参数个数:6*6*256*4096
10 第二层全连接层 输入特征图单元数4096,输出4096,全连接参数个数:4096*4096
11 第三层全连接层 输出层,输入4096,输出特征图单元数1000,全连接参数个数:4096*1000

AlexNet相比传统的CNN的改动

  • Data Augmentation(数据增强),防止过拟合
  • Dropout方法,防止过拟合
  • ReLU激活函数代替了传统的Tanh或者Logistic
  • LRN(Local Response Normalization)局部响应归一化,就是临近的数据做归一化

VGG(AlexNet增强版本)

VGG:Visual Geometry Group
AlexNet结构:
这里写图片描述
VGG结构:
这里写图片描述
区别:当在AlexNet中式一个Cov卷积层的时候,在VGG中是一个卷积群,相当于把卷积层数变多了

VGG参数

这里写图片描述

VGG作用

  • 结构简单:同AlexNet结构类似
  • 性能优异:同AlexNet提升明显,同GoogleNet,ResNet相比表现接近,是选择最多的基本模型

由于Conv Group代替了Conv,所以VGG更深了


GoogleNet:多分辨率识别

inception mudle结构

Inception,这是一种网中网(Network In Network)的结构,即原来的结点也是一个网络。用了Inception之后整个网络结构的宽度和深度都可扩大。
这里写图片描述
a的结构有一些问题:
直接从previous接受特征图的数据会使得厚度非常大,叠加到一起使参数暴增,可以用1*1的Conv来进行数据降维(这是1*1Conv的好处)
所以添加了一个1*1的卷积核变成了b

GoogleNet(由多个inception mudle)

这里写图片描述

GoogleNet更加深了

全卷积结构(FCN)

一般神经网络结构:卷积层(CNN)+全连接层(FC)
全卷积结构:卷积层(CNN)

特点:

  • 输入图片大小无限制
  • 空间信息有丢失
  • 参数更少,表达力更强

ResNet:机器超越人类识别

这里写图片描述

ResNet结构:

这里写图片描述
深度更深!!

ResNet 思路:供给两个连续卷积层的输出,并分流(bypassing)输入进入下一层
ResNet提出了一种减轻网络训练负担的残差学习框架,这种网络比以前使用过的网络本质上层次更深,本质上还是要解决层次比较深的时候无法训练的问题。网络相当于旁边专门开个通道使得输入可以直达输出,而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x,其中H(X)是某一层原始的的期望映射输出,x是输入。
ResNet要学习的便是残差函数:F(x)=H(x)-x,残差块的结构是:
这里写图片描述


U-Net:图片生成网络

这里写图片描述

convolution卷积-deconvolution反卷积

这里写图片描述
实质:一个有学习能力的上采样
正常卷积:
下图表示参数为(输入尺寸5*5,卷积核尺寸3*3,步长2,padding 1),计算结果可以看出输出特征的尺寸为3*3
这里写图片描述
反卷积:
这里写图片描述
这里写图片描述

pooling池化-unpooling反池化(增维)

记住原来的位置,而不是
这里写图片描述

查看评论

深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。关于卷积神经网络CNN,网络和文献...
  • xbinworld
  • xbinworld
  • 2016-01-02 11:18:40
  • 69162

卷积神经网络CNN经典模型整理(AlexNet,GoogleNet,VGG,Deep Residual Learning)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。  技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。 关于卷积神经网络CNN,网...
  • u013087984
  • u013087984
  • 2016-07-25 20:46:49
  • 8332

深度学习--卷积神经网络CNN经典模型:Lenet、Alexnet、GoogleNet、VGG、Deep Residual Learning

各处整理了一些资料,有时间好好看 先来一张不是很相关的有趣的对比图。 关于卷积神经网络CNN,网络和文献中有非常多的资料,简单整理一下,以备查阅之需。 Alexnet,2012年Google...
  • yimingsilence
  • yimingsilence
  • 2017-04-07 22:51:06
  • 1339

深度学习方法:卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,ResNet

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。  技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。 关于卷积神经网络CNN,网...
  • oppo62258801
  • oppo62258801
  • 2017-06-21 01:26:51
  • 880

CNN卷积神经网络中的AlexNet、VGG、GoogLeNet、ResNet对比

CNN卷积神经网络中的AlexNet、VGG、GoogLeNet、ResNet对比
  • Dod_Jdi
  • Dod_Jdi
  • 2017-10-28 21:58:17
  • 720

深度学习的几种常用网络LeNet、AlexNet、GoogLeNet、VGG、ResNet:

很全的介绍,非常喜欢,感谢作者的分享:http://www.cnblogs.com/52machinelearning/p/5821591.html...
  • stf1065716904
  • stf1065716904
  • 2017-09-25 11:45:36
  • 509

Deep Learning(一):CNN经典网络模型摘要--AlexNet、ZFnet、GoogleNet、VGG、ResNet

本文转自:https://ziyubiti.github.io/2016/11/27/cnnnet/ CNN经典网络模型摘要--AlexNet、ZFnet、GoogleNet、VGG、Res...
  • rongxue2001
  • rongxue2001
  • 2017-09-28 10:27:06
  • 235

[深度学习之CNN] CNN的发展史 之LeNet、AlexNet、GoogLeNet、VGG、ResNet

标签: Deep Learning, 回顾, CNN, LeNet, AlexNet, GoogLeNet, VGG, ResNet CNN的发展史        上一篇回顾讲的是2006年Hinto...
  • KYJL888
  • KYJL888
  • 2017-08-12 23:16:39
  • 806

CNN经典网络模型摘要--AlexNet、ZFnet、GoogleNet、VGG、ResNet

见个人博客: https://ziyubiti.github.io/2016/11/27/cnnnet/
  • ziyubiti
  • ziyubiti
  • 2016-11-28 17:34:39
  • 5991

CNN的发展历史(LeNet,Alexnet,VGGNet,GoogleNet,ReSNet)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的mo...
  • Liu941027
  • Liu941027
  • 2017-10-20 17:07:15
  • 543
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 30万+
    积分: 4331
    排名: 8698
    联系方式

    博文主要参考网上资料,视频笔记,结合个人见解,仅供学习、交流使用,如有侵权,请联系博主删除。


    博客专栏
    最新评论