卷积神经网络基础和网络结构

  一、发展历史

    卷积神经网络（Convolutional Neural Network）是一种常见的用于图像分类的深度学习框架，它可以看作是一种对输入信号逐层加工，最后将联系并不密切的输入和输出信息连接起来的分类网络。CNN的网络结构的起源是LaNet5（包含了卷积、池化和非线性的激活函数以及多层感知机模型），之后在2012年Alex Krizhevsky提出了一种AlexNet网络结构在当年获得了图像识别大赛的冠军。AlexNet主要在三个方面做出了改进：

    1.使用Relu激活函数替代了传统的Sigmod（优点下文会详细描述）

    2.使用两块GPU训练（目前的神经网络已经全部由GPU进行模型训练，GPU在矩阵运算和数值运算上速度更有优势）

    3.DropOut的提出，即随机选择一部分神经元不参加前向传播和反向传播，可以有效防止过拟合的现象同时大大降低训练时间     至此，传统的CNN网络结构趋于成熟，后续的卷积神经网络向各个方向发展，功能也更加丰富，如加深传统网络结构的VGG16,由单纯的分类到定位分类的RCNN等，如下图（图像引用于【1】）

 

  二、概念理解

 

    1.卷积（convolution）

顾名思义，卷积神经网络最重要的概念就是卷积，首先卷积用于很多方面，比如：统计学中，加权的滑动平均是一种卷积；概率论中，两个统计独立变量X与Y的和的概率密度函数是X与Y的概率密度函数的卷积；物理学中，任何一个线性系统（符合叠加原理）都存在卷积等等。最常用的是在数字信号处理上面，引用知乎作者【张俊博】的解释，卷积在信号处理上的意义就是加权叠加，对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应加权叠加，就直接得到了输出信号，作者解释的很通俗，卷积就是通过输入信号的单位响应得到输出信号的过程。根据作者的解释我大概理解是，一个时间点的输入信号并不是只对这一瞬间的输出信号有影响的，而是在一段时间中它的影响会衰减，但连续的信号又会不停的输入进来，已经知道一个时间点的单位信号量产生的的响应，那卷积就是去求这个连续时间段的输出响应。

对于我没有太多数学基础可以不去深究卷积的数学意义，只用知道它是一种数学运算，而应用到深度学习中，卷积同样是信息的加权叠加，它的物理意义就更好理解，形象的讲卷积是将两种信息进行混合而得到一种新的信息，而在CNN中混合这两种信息分别是图像和卷积核（convolution kernel）。图像是一个由多个数字组成的矩阵&