扒一扒神经网络--VGG

最新推荐文章于 2023-10-11 19:27:23 发布
最新推荐文章于 2023-10-11 19:27:23 发布
阅读量699 收藏 1
点赞数
分类专栏： 深度学习 神经网络 论文笔记 文章标签： 扒一扒神经网络--VGG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012885745/article/details/84634898
版权

VGG

Title: Very Deep Convolutional Networks for Large-Scale Image Recognition

Author and affiliation: Andrew Zisserman；Oxford Visual Geometry Group， Google DeepMind

Year: 2015

Honors: ImageNet Challenge 2014, 1st in localisation and 2nd in classification

Datasets: ILSVRC-2012 dataset

Main contributions: 

VGG旨在利用3*3小卷积加深网络的深度（16-19层，分别称为VGG16和VGG19），

两个3*3卷积的堆叠
两个3*3卷积的堆叠

大的卷积核固然有较大的感受野，但大卷积所带来的计算量也是更大的。是否存在一种方式，既可以保证大的感受野又不增大计算量呢？如上图所示，使用两个3*3卷积的堆叠，对应于最上层的单个像素而言，它的感受野映射到两层3*3卷积之前的图像是5*5。那这样操作的计算量呢？假设一个卷积层输入和输出的通道数都为C，则一个5*5的卷积带来的参数是5^2C^2=25C^2，而两个3*3的卷积堆叠带来的参数量是2*(3^2C^2)=18C^2。可见用两个3*3的卷积堆叠使用了更少的参数却与一个5*5的卷积拥有相同的感受野。同样的，如果使用三个3*3卷积堆叠，则可以达到7*7的感受野。同时，堆叠的卷积层也增加了激活函数的使用，使得模型的非线性表达能力更强。

作者在论文中用了A, A-LRN，B,C,D,E六种网络去进行对比论证，其中的卷积核都是3*3的小卷积，且在网络最后都是三个全连接层（具体层级配置见Architecture中的VGG网络结构图）。其中A是一个11层浅层网络，A-LRN是在A的基础上在第一层卷积后加上了Alexnet[1]中提出的LRN局部响应归一化，论证了LRN其实并没有改善网络性能，而且还增加了内存消耗和计算时间（在AlexNet v2[2]中也去掉了LRN）。B是一个13层的小网络，在A的基础上加了两层卷积，C除了用了3*3卷积外，还用了1*1的卷积增加了网络的非线性表达能力（不影响感受野）。D和E分别是VGG16和VGG19，细节将在下一部分详细介绍。

作者与Sermanet et al. [2]的工作进行了对比（参数数量见表格“overfeat参数对比”），Sermanet et al.他们所用的网络比VGG更浅， 且采用的是大卷积（11*11,4*4），他们的参数在精确版上达到144millions，与VGG16（138millions）和VGG19（144millions）相比，凸显了VGG的设计初衷--减少计算量的同时保持了一定的感受野。

overfeat参数比对

Architecture:

1. 预处理

对RGB的训练图像进行减均值的预处理

2. 网络模型

VGG网络结构图

在VGG16(D)和VGG19(E)中，全部使用3*3的卷积，且stride=1，保证了每个输入像素都参与计算。下面以VGG16为例，展示该网络结构的具体参数设置（VGG19为在VGG16的基础上增加了三个卷积层，蓝色行为VGG19所含层，两者使用的卷积参数是一样的）。需要注意的是，VGG不止使用了小卷积核，在池化核上也是用了2*2的小池化核，stride=2.

layerskernel size

feature maps

strideOutput sizeActivation
input(224*224*3)     
conv1-13*3641224*224*64ReLu
conv1-23*3641224*224*64 
max-pooling12*2-2112*112*64-
conv2-13*31281112*112*128ReLu
conv2-25*51281112*112*128ReLu
max-pooling22*2-256*56*256-
conv3-13*3256156*56*256ReLu
conv3-23*3256156*56*256ReLu
conv3-33*3256156*56*256ReLu
conv3-43*3256156*56*256ReLu
max-pooling32*2-128*28*256-
conv4-13*3512128*28*512ReLu
conv4-23*3512128*28*512ReLu
conv4-33*3512128*28*512ReLu
conv4-43*3512128*28*512ReLu
max-pooling42*2-114*14*512-
conv5-13*3512114*14*512ReLu
conv5-23*3512114*14*512ReLu
conv5-33*3512114*14*512ReLu
conv5-43*3512114*14*512ReLu
max-pooling52*2-27*7*512-

fc1

7*7409611*4096dropout
fc21*1409611*4096dropout
fc31*11000(classes)11*1000+softmax

Implementation details:

1. Training

使用了小批量梯度下降，使用了L_2正则项学习率初始化为10^{-2}，当验证机loss不再下降后，以10倍的速度减小学习率。在训练过程中，在74个epoch中，学习率一共下降了三次。

在初始化阶段，作者尝试先用A网络的以训练的权值来初始化初始的四个卷积层和最后三层全连接层，其余层采用随机初始化，但在论文提交后发现使用随机初始化也具有可行性。

作者采用两种图像采样方式来进行训练：

a.对于单尺度训练

使用固定尺寸256和384，使原始图像最小边分别缩放至256和384（为了加速训练，使用256*256尺寸训练的网络来初始化384*384输入的网络，让用较小的学习率10^{-3}）

b.对于多尺度训练

在256~512之间随机裁剪，缩放最小边至最大最小值之间，因此网络的输入是不同尺寸大小的图像，因此可以学习到不同尺度的图像信息。为了加速训练，作者使用384*384的预训练网络进行训练。

2. Testing

两种预测方法：

a.multi-crop:

对图像进行多样本的随机裁剪，并对所有结果取平均。

b.densely:

采用了FCN的思想，将最后的三个全连接层改成了的卷积（7*7,1*1,1*1），以此形成一张预测的score map。由于输入尺寸不同，使得输出的包含了可变长度的空间尺度大小。因此，为了获得统一大小的分数向量，需要对score map然后对此结果取平均得到最终的预测值。

Results:

a.单尺度

在这个实验中，作者提出了一种scale jitter的方式来控制网络的输入。对于输入S_{min}=256,S_{max}=512, 作者除了使用了固定大小256或384作为输入，还使用了在S_{min},S_{max}之间抖动的尺寸作为网络的输入。然后我们也发现384其实就是取得S_{min},S_{max}的中间值。

作者用之前提到的六个网络去对单尺度的训练结果进行测试，从表格中可以看出层数越深效果越好，同时使用scale jitter的效果要比固定训练大小的效果要好，这种方式提供了多尺度的信息。

 

b.多尺度

这部分的实验将scale jitter用到了测试部分，结果发现，效果好了一丢丢。

 

c.预测方式

使用了之前提出的两种预测方式来进行对比实验，结果表明，两种方式结合的模式效果更好。

 

d.模型融合

作者甚至还尝试了将VGG16,VGG19,以及运用了1*1卷积的小网络，这三者进行各种融合的方式来测试模型的效果。结果可以看出将VGG16和VGG19进行融合并使用multi-crop和dense融合的预测方式所取得的效果很好。

需要注意的是，这里的模型融合的做法是将这些模型的softmax的预测结果取平均以得到最终的预测结果。

作者将单一的VGG网络（这里用的是VGG19）和使用了multi-crop和dense融合的预测方式的VGG19,以及刚刚提到的模型融合结果与目前方法进行了对比，结果确实有一定的优势。

最终结果官方提供的页面贴出了如下结果，好像这个表格能更简洁的对比出VGG不同层数效果。

Github:

Tensorflow中对VGG的实现

VGG论文官方提供的论文说明链接

Reference:

[1] Krizhevsky, A., Sutskever, I., and Hinton, G. E. ImageNet classification with deep convolutional neural networks. In NIPS, pp. 1106–1114, 2012.

[2] Sermanet P , Eigen D , Zhang X , et al. OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks[J]. Eprint Arxiv, 2013.

作者：miya_xu 出处：https://blog.csdn.net/u012885745/article/details/84634898 欢迎转载或分享，但请务必声明文章出处。

Miya_xu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络分析与总结（VGG分类模型）
AlexNet网络详解
12-22 7128
在之前详细读完第一篇卷积神经网络论文AlexNet之后，我最近又阅读了另一个图像分类与定位领域著名的论文VGG，考虑到我本人水平有限，下面我大概介绍一下这篇论文与VGG网络。 论文名称为：“Very Deep Convolutional Networks For Large-Scale Image Recognition” 这篇论文重点讲解了他们团队在ImageNet 2014挑战赛上所使用的VG...
神经网络学习之路：5-VGG16
qq_34792438的博客
08-12 3442
VGG-16-Net卷积神经网络的理解并对手势数据集识别 源码：https://github.com/DoubleYuanL/VGG-Net 附带数据集
VGG
asd2390181722的博客
04-02 401
VGG一，贡献：二，网络架构：三，代码实现： 一，贡献： ①　使用很小的卷积核（3×3）构建各种深度的卷积神经网络结构，并对这些网络结构进行了评估，最终证明16-19层的网络深度，能够取得较好的识别精度。 这也就是常用来提取图像特征的VGG-16和VGG-19。 ②　与AlexNet比较：VGG可以看成是加深版的AlexNet，整个网络由卷积层和全连接层叠加而成，和AlexNet不同的是，VGG中...
【CV】VGG卷积核为什么取3*3 ？ VGG使用3*3卷积核的优势是什么?
学无止境、积少成多、厚积薄发
06-01 2441
在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。 比如，3个步长为1的3x3卷积核的一层层叠加作用可看成一个大小为7的感受野（其实就表示3个3x3连续卷积相当于一个7x7卷积），其参数总量为 3x(9xC^2) ，如果直接使用7x7卷积核，其参数总量为 49xC^2 ，这里 C 指的是输入和输出的通道数。很明显，27xC2小于49xC2，即减少了参数；而且3x3
深度学习入门（二十九）卷积神经网络——VGG
ElysiumAILab
11-09 5114
课件 VGG VGG块 VGG架构 进度 总结 教材 1 VGG块 2 VGG网络 3 训练模型 4 小结
VGG网络阅读笔记
qq_43458473的博客
11-17 202
[1] VGG中使用的是3×3卷积核和2×2的池化核，并且使用了连续多个卷积层，由于每个卷积层都有一个非线性的激活函数，多个卷积层增加了非线性映射。 [2] VGG认为2个连续的3×3卷积核能够替代一个5×5卷积核，三个连续的3×3能够代替一个7×7。使用连续的小卷积核代替大的卷积核，网络的深度更深，并且对边缘进行填充，卷积的过程并不会降低图像尺寸，仅使用小的池化单元降低图像的尺寸。 [3] 使用更深的层可以使得函数具有更好的分辨能力，通过这样做也可以减少参数。 [4] VGGNet在训练的时候先训级别A的
经典的神经网络-VGGNet
longer_tju的博客
07-26 1173
VGGNet是牛津大学计算机视觉组（Visual Geometry Grouop）和Google DeepMind公司的研究员一起研发的深度卷积神经网络。该网络通过反复堆叠3*3的卷积核和2*2的最大池化层，构建了16~19层卷积神经网络（有多个版本）。VGGNet训练时使用了4块Geforce GTX Titan GPU并行计算，也要耗时2~3周才能训练完。因此，我们依然不训练数据，而是构造出V
VGG深度学习网络-cifar-10数据集
11-06
VGG深度学习网络是计算机视觉领域的一个里程碑，尤其在图像分类和识别任务上表现卓越。CIFAR-10数据集则是广泛用于图像分类任务的基准数据集，包含10个类别，每个类别有6000张32x32像素的彩色图像。这个项目显然旨在...
imagenet-vgg-verydeep-19.mat
12-18
该资源为imagenet-vgg-verydeep-19.mat，可以在迁移学习的时候使用。必须要补充字数，我就再补两句。
imagenet-vgg-f.mat
08-20
imagenet-vgg-f.mat GPU/CPU人脸识别 使用imagenet网络的预训练模型训练数据集
积神经网络-基于VGG实现的垃圾图像分类算法.zip
05-03
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，广泛应用于图像处理领域，特别是图像分类任务。本项目重点介绍了如何利用VGG（Visual Geometry Group）网络架构来实现一个垃圾图像分类...
为什么用2个串联的3x3卷积可以代替1个5x5的卷积
Chanvivi的博客
10-09 5091
在深度网络的发展趋势中，提升网络的宽度和深度已经是常规操作，能够解决过拟合，但同时也带来了大量参数的问题，所以减少网络参数也是必要的。在很多网络中，都使用了3个3x3卷积核来代替7x7卷积核，或者使用了2个3x3卷积核来代替5x5卷积核，这样做的主要目的是：（1）在保证具有相同感受野Receptive Field的条件下，增加网络的深度，进而在一定程度上提升神经网络的效果；（2）减少网络的计算参数量。 ①以2个3x3卷积对于5x5卷积具有相同感受野为例， 假设图片尺寸为28x28， 首先，使用5
神经网络之VGG
am_student的博客
07-01 4480
经典卷积神经网络的基本组成部分是下面的这个序列：带填充以保持分辨率的卷积层；非线性激活函数，如ReLU；汇聚层，如最大汇聚层。而一个VGG块与之类似，由一系列卷积层组成，后面再加上用于空间下采样的最大汇聚层。在最初的VGG论文中 ()，作者使用了带有3×3卷积核、填充为1（保持高度和宽度）的卷积层，和带有2×2汇聚窗口、步幅为2（每个块后的分辨率减半）的最大汇聚层。VGG的全称是视觉几何小组，隶属于牛津大学科学与工程系。
VGG-传统神经网络之巅峰
frighting_ing的博客
11-14 5959
1. VGG简介 VGGNet是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%），网络名称VGGNet取自该小组名缩写。VGGNet是首批把图像分类的错误率降低到10%以内模型，同时该网络所采用的3×33\times33×3
VGG 经典神经网络学习笔记 （附代码）
PLANTTHESON的博客
10-11 2749
VGG 经典神经网络学习笔记 （附代码）
VGG网络讲解——小白也能懂
热门推荐
m0_57011726的博客
03-10 1万+
我们上文已经说了，VGG其实就是五层卷积。我们来看这个图：这个图是作者当时六次实验的结果图。在介绍这个图前，我先进行几个概念说明：卷积层全部为3*3的卷积核，用conv3-xxx来表示，xxx表示通道数。在这个表格中，我们可以看到，第一组（A）就是个简单的卷积神经网络，没有啥花里胡哨的地方。第二组（A-LRN）在第一组的卷积神经网络的基础上加了LRN（小白们不用太过了解这个，现在已经不是主流了，LRN是Alexnet中提出的方法，在Alexnet中有不错的表现 ）
卷积神经网络VGG
null的专栏
09-23 6724
VGG网络结构相对比较简洁，整个网络结构中只用到了3×33\times33×3的卷积核和2×22\times22×2的最大池化，通过堆叠小的卷积核实现较大卷积的操作，通过这样的方式加深了网络的结构，但是在网络中还是出现计算量较大的情况，主要是出现在最后的几组全连接层，其中第一个全连接fc6的参数为25088×4096+4096=10276454425088×4096+4096=102764544。
AI人工智能机器人PPT模板
最新发布
08-19
这是一套AI人工智能机器人PPT模板，共23张； PPT模板封面使用了蓝色曲线与机器人PPT背景图片。左侧填写AI人工智能机器人PPT标题。界面背景与PPT主题匹配。 PowerPoint模板内容页，介绍了什么是人工智能、人工智能对生活影响、人工智能的应用等。 本模板适合用于制作AI人工智能PPT、机器人主题PPT、工业2.0PPT等。.PPTX格式；
cnn卷积神经网络包括VGG-Net卷积神经网络吗
04-12
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，主要用于图像识别和计算机视觉任务。它的核心思想是通过卷积层、池化层和全连接层等组件来提取图像的特征，并进行分类或回归等任务。 VGG-Net是一种经典的卷积神经网络结构，由牛津大学的研究团队提出。它的主要特点是采用了多个较小的卷积核和池化层，使得网络具有更深的层级结构。VGG-Net的网络结构非常简洁，主要由卷积层和全连接层组成，其中卷积层使用了3x3的卷积核，并通过池化层进行下采样。 VGG-Net的网络结构可以分为多个阶段，每个阶段包含若干个卷积层和池化层。最常用的VGG-Net结构是VGG16和VGG19，分别包含16个和19个卷积层。这些卷积层之后是若干个全连接层，最后通过softmax函数进行分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值