卷积神经网络

传统神经网络

传统神经网络，主要是输入层，隐含层和输出层。

多层感知机

上图（图引自Stanford机器学习公开课）中

表示第j层第i个单元的激活函数/神经元
表示从第j层映射到第j+1层的控制函数的权重矩阵 
    此外，输入层和隐藏层都存在一个偏置（bias unit)，所以上图中也增加了偏置项：x0、a0。针对上图，有如下公式

    此外，上文中讲的都是一层隐藏层，但实际中也有多层隐藏层的，即输入层和输出层中间夹着数层隐藏层，层和层之间是全连接的结构，同一层的神经元之间没有连接。

原文链接：https://blog.csdn.net/v_JULY_v/article/details/51812459

卷积神经网络

主要分为输入层，卷积层，池化层，全连接层。

卷积层做了什么

先将输入的图片划分为一个个小区域，然后对每一块小区域进行卷积操作得到特征图，什么卷积操作呢，下面会讲清楚，其实一个小区域通过一次卷积操作只会得到一个特征值，将各个部分的特征值拼在一起就得到了一个特征图。

这里32*32*3的意思是输入的图片：长为32，宽为32，然后是输入的彩色图像，彩色图像通道有3个，分别是RGB。

卷积操作

通过上图可以看出input有三个图，因为输入的是三通道图，图像在每个通道上的值都是不一样的，通过三通道共同组成了一个图像。

然后对于filter wo，相当于先定义了一个权值，wo是第一个权值图，w1是第二个权值图。然后每一个权值都应该对应一个偏置，所以下面bias b0就是第一个权值的偏置，bias b1是第二个权值的偏置。

作为举例

与

对应位置相乘，并将值相加：0*1+0*1+0*1+0*-1+1*-1+1*0+0*-1+1*1+1*0=2

偏置w0是1

所以2+1=3

所以output volume第一个值是3

其余类似操作可以得到特征图。

卷积次数

卷积次数不止一次。

步长

卷积的步长就是移动（左右和上下）的大小，步长会影响特征图的大小

卷积核尺寸：上图中输入进行计算的区域

边缘填充

在图像中直接进行卷积时边缘的图像会利用比较少，但是边界图像对于特征来说不一定是不重要的，那么就在图像的边界进行填充，使得整张图象都进行了全面的特征学习。0填充

卷积核个数

卷积核个数等于特征图个数

卷积结果计算公式

参数个数

用10个5*5*3的filter来进行卷积操作，每一个卷积核有5*5*3=75，10个卷积核就有750个参数，加上每个卷积核都会有一个偏置，则有10个偏置，则一共有750+10=760个参数。

池化

进行卷积操作后，会得到很多的特征，但是这些特征并不一定都是有用的，这时就需要去筛选这些特征，只保留最有效的特征。

压缩的是每个特征矩阵的大小，并不会压缩特征矩阵的个数。

方法

最大压缩法