[人工智能-深度学习-34]：卷积神经网络CNN - 常见分类网络- VGG16/VGG19网络结构分析与详解

本文链接：https://blog.csdn.net/HiWangWenBing/article/details/120894643

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120894643

第1章卷积神经网络基础

1.1 卷积神经发展与进化史

AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。

[人工智能-深度学习-31]：卷积神经网络CNN - 常见卷积神经网络综合比较大全_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：第1章人工智能发展的3次浪潮1.1人工智能的发展报告2011-2020资料来源：清华大学、中国人工智能学会《人工智能的发展报告2011-2020》，赛迪研究院、人工智能产业创新联盟《人工智能实践录》，中金公司研究部► 第一次浪潮（1956-1974年）：AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起，人们对AI的未来充满了想象，人工智能迎来第一次发展浪潮。这.https://blog.csdn.net/HiWangWenBing/article/details/120835303

1.2 卷积神经网络的核心要素

[人工智能-深度学习-27]：卷积神经网络CNN - 核心概念（卷积、滑动、填充、参数共享、通道）_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章卷积中的“积”的定义第2章卷积中的“卷”的定义第3章填充第4章单个卷积核的输出第5章多个卷积核的输出第6章卷积对图形变换第7章池化层第8章全连接的dropout第1章卷积中的“积”的定义第2章卷积中的“卷”的定义stride：反映的每次移动的像素点的个数。第3章填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277

1.3 卷积神经网络的描述方法

[人工智能-深度学习-28]：卷积神经网络CNN - 网络架构与描述方法_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章什么是卷积神经网络第2章卷积神经网络的描述方法第3章卷积神经网络的本质第4章卷积神经网络的总体框框第5章卷积神经网络的发展与常见类型与分类第6章常见的卷积神经网络6.1 AlexNet6.2 VGGNet6.3 GoogleNet： inception结构6.4 google net6.5 ResNet第7章常见图形训练库第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599

1.4 人工智能三巨头 + 华人圈名人

Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖。

杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton），计算机学家、心理学家，被称为“神经网络之父”、“深度学习鼻祖”。Hinton是机器学习领域的加拿大首席学者，是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者，是盖茨比计算神经科学中心的创始人，目前担任多伦多大学计算机科学系教授。2013年3月，谷歌收购 Hinton 的公司 DNNResearch 后，他便随即加入谷歌，直至目前一直在 Google Brain 中担任要职。

Yoshua Bengio是蒙特利尔大学（Université de Montréal）的终身教授，任教超过22年，是蒙特利尔大学机器学习研究所（MILA）的负责人，是CIFAR项目的负责人之一，负责神经计算和自适应感知器等方面，又是加拿大统计学习算法学会的主席，是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前，是AT&T贝尔实验室 & MIT的机器学习博士后。

Yann LeCun，担任Facebook首席人工智能科学家和纽约大学教授，1987年至1988年，Yann LeCun是多伦多大学Geoffrey Hinton实验室的博士后研究员。

第2章 VGG网络概述

2.1 VGG网络概述

VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。

模型的名称——“VGG”代表了牛津大学的Oxford Visual Geometry Group(牛津视觉几何组)，该小组隶属于1985年成立的Robotics Research Group，该Group研究范围包括了机器学习到移动机器人。

2.2 VGG网络特点与改进

VGG在AlexNet基础上做了改进，整个网络都使用了同样大小的3*3卷积核尺寸和2*2最大池化尺寸，网络结果简洁。

（1）小卷积核。作者将卷积核全部替换为3x3（极少用了1x1）；

VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。

对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。

简单来说，在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

比如，3个步长为1的3x3卷积核的一层层叠加作用可看成一个大小为7的感受野（其实就表示3个3x3连续卷积相当于一个7x7卷积），其参数总量为 3x(9xC^2) ，如果直接使用7x7卷积核，其参数总量为 49xC^2 ，这里 C 指的是输入和输出的通道数。很明显，27xC^2小于49xC^2，即减少了参数；而且3x3卷积核有利于更好地保持图像性质。

小的卷积核的好处：