机器学习 李宏毅 L21-Convolutional Neural Network

CNN设计的初衷

CNN最初用于影像分类等。
1. Fully connected NN的效率较低。对于特殊的部分检测，可以只使用图片的某些小部分就可以实现，这样可以简化参数；
2. 针对图像不同位置的相同特征，可以去除一部分冗余的神经元，降低参数；
3. 图像进行降采样，不会影响图像的形状。因此我们可以对图像进行降采样，降低参数。

CNN的基本架构如下图所示，包括一次或多次的convolution layer和max pooling layer，然后进行flatten layer。

1) some patterns are much smaller than the whole image
2) the same patterns appear in different regions
3) subsampling the pixels will not change the object

第1和第2点会被convolution layer考虑，第3点会被pooling考虑。

Convolution的操作过程

CNN会使用一些filter，也就是一些小的矩阵。它们的大小是需要设计的，它们的数值是通过学习得到的。先假设已经知道这些矩阵的数值，然后对于大的图像，利用小的矩阵进行乘积操作；每进行一次操作后，进行一次stride，stride=N࿰