卷积神经网络

1.全连接：相邻层的所有神经元之间都有连接。
2.全连接层存在的问题：数据的形状被“忽视”了。比如，输入数据是图像时，图像通常是高、长、通道方向上的三维形状。但是，向全连接层输入时，需要将3维数据拉平为1维数据。
3.填充：在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0等），这称为填充。
使用填充主要是为了调整输出大小。 因为每次进行卷积运算都会缩小空间，那么在某个时刻输出大小就有可能变为1。
4.步幅： 应用滤波器的位置间隔称为步幅。
5.池化：缩小高、长方向上的空间的运算。
MAX池化池化是从目标区域中取出最大值。
Average池化是计算目标区域的平均值。

6卷积层和池化层的实现
6.1 基于im2col的展开
NumPy中存在使用for语句后处理变慢的缺点（NumPy中，访问元素时最好不要用for语句）
im2col是一个函数，将输入数据展开以适合滤波器（权重）。是把包含批数量的4维数据转换成了2维数据。
.
im2col名称是“image to column”的缩写，翻译：从图像到矩阵“
7.CNN

8.CNN的可视化
8.1第一层权重的可视化