深度学习：卷积神经网络

卷积神经网络是实际应用中最为成功的神经网络。卷积在机器学习中有两个具体的优势：稀疏连接和参数共享。

1. 对一幅图像进行卷积，使用卷积核进行卷积，然后卷积后得到特征映射或者特征图（Feature Map）。卷积就是对数据加权求和。一般而言，卷积使用星号表示卷积的过程，卷积适合交换律。在机器学习中卷积就是就是局部特征乘以对应的权重，然后再累加起来即可。
2. 稀疏连接：在传统的神经网络中，每个神经元都会连接到上层的所有神经元中，这种属于全连接。而稀疏连接指的是，神经元只会连接到上层中的部分神经元，这种连接就被称为稀疏连接。因为稀疏连接可以减少参数的个数，所以也是一种防止过拟合的手段。本来需要$O(m×n)$的时间复杂度，在将每个输出单元都限制在$k$连接参数的稀疏连接方式后，所需的参数减少到$k×n$个，计算时间复杂度变成了$O(k×n)$。
3. 虽然是稀疏连接，但是通过层数的加深可以保证后面的神经元学习到了前面的所有神经元的信息。
4. 参数共享：在模型的多处使用相同的参数。参数共享并没有影响神经网络的计算时间，时间复杂度仍然是$O(k×n)$，但是其显著降低了需要存储的参数个数。
5. 池化：负责将下层提取到的特征进行采样，缩小网络规模。有最大池化和平均池化两种。池化操作不仅可以缩小网络规模，还能获取输入数据的不变性特征。
6. 图像中局部不变形是一个很有用的属性。由于模糊位置加强了网络抗噪声的能力，因此提高了模型的泛化性能。因为最大池化操作仅仅对周围的最大特征值敏感，而不在乎精确的位置，因此种不敏感性反而使网络获得了平移不变性的能力。
7. 将池化用于不同的卷积探测层，再将不同的卷积结果进行最大池化，那么就可以得到旋转不变性。
8. 池化是处理变长输入的基本手段之一，如果不想直接裁剪图片，那么就可以利用池化操作将输入数据缩放在固定的尺寸上。（处理变长输入）
9. 跨步卷积和跨步池化，是下采样的两种方式。
10. 卷积网络每经过卷积核大小为$k$的卷积后，网络大小至少会缩小$k-1$。加入输入数据为16维，卷积核大小为6，那么再经过三层之后网络输出缩减为1。之所以将神经网络改名为深度学习，是强调我们应该使用深层的网络模型去表征数据。要想要深层的网络模型就需要减小卷积核的大小，但是减小卷积核大小的话，特征提取的能力就会减弱，也是一个鱼和熊掌的问题。
11. 零填充(zero padding)：零填充分为三种方式，有效卷积、相同卷积与全卷积。有效卷积其实就是没有零填充的卷积，在金融行业中为了不增加新的噪声数据，所以一般使用有效卷积。相同卷积是每层与每层之间不会造成网络结构的减少。全卷积会导致不仅不会减少，还会增加。
12. 对于有效卷积，假设输入单元的宽度为$m$，卷积核的宽度为$k$，那么输出的宽度就是$m-k+1$。