传统神经网络:每个神经元与前一层的所有神经元连接
卷积神经网络:卷积层中的神经元只与前一层的一小块局部区域(也就是感受野)连接
组成:卷积层(Conv)+池化层(Pooling)+全连接层(与常规传统神经网络一样,其中每个神经元都与前一层中的所有神经元相连接)
整个卷积过程,以CIFAR-10为例:
原始输入:[32x32x3];经12个卷积核,卷积后的数据体维度:[32x32x12];再经过RELU激活,不改变数据题的维度;接着进行POOLING池化,降采样后的数据尺寸变为[16x16x12];…最后全连接层计算分类平分,数据尺寸变为[1x1x10](10个数字对应10个类别的分类评分值);
左边:蓝色部分是第一个卷积层的神经元;在深度方向上有多个神经元(本例中有5个,这里是核的个数),他们都接受输入数据的同一块区域(感受野相同)
空间排列:核的个数+步长+填冲
输出数据体的深度(核的个数):它与滤波器(卷积核)的数量一致,每个滤波器在输入数据中寻找不同的东西;
假设第一个卷积层的输入是原始图像,那么在深度维度上的不用神经元将可能被不同方向的边界(或颜色斑点)激活。沿着深度方向排列、感受野相同的神经元集合称为深度列(depth column),也叫纤维(fibre)。
参数共享:如果在一个深度切片中的所有权重都使用同一个权重向量;为了减少参数