2023/7/9周报 CNN

摘要

CNN是一种前馈神经网络，可以用反向传播来优化网络结构。CNN本质上是一个多层感知机，以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性。

Abstract

CNN is a feedforward neural network, which can optimize the network structure by back propagation. CNN is essentially a multi-layer perceptron, which has unique advantages in speech recognition and image processing because of its special structure of local weight sharing. Its layout is closer to the actual biological neural network, and weight sharing reduces the complexity of the network.

CNN

CNN是一种人工神经网络，CNN的结构可以分为3层：
卷积层(Convolutional Layer) - 主要作用是提取特征。
池化层(Max Pooling Layer) - 主要作用是下采样(downsampling)，却不会损坏识别结果。
全连接层(Fully Connected Layer) - 主要作用是分类。

Convolution Layer

假设图片为黑白照片，channel=1
共有64个filters，stride=1，

当filter走到原图片矩阵最边缘处可以选择进行padding（补值），补全0或是补最后一列的值等等：

当再次convolution时，此时filter尺寸为3x3x64：

为什么filter的kernal size习惯设置为3x3？
当filter为3x3时，随着卷积次数越来越多，filter能识别的pattern也会越来越大。因此，不必担心filter为3x3时无法识别较大的pattern。例如，当进行第二次convolution时，filter仍为3x3，但在原来的image识别的范围已经扩大到5x5：

Max Pooling Layer（保留分块矩阵最大值）

上述filter1，filter2扫描后得到的矩阵可以进一步缩减（相当于把图片缩小），得到

整个CNN过程如下：

经过多次convolution和pooling后，还需要对结果进行Flatten（压缩），最后放入全连接层，全连接层的作用是进行分类。前面通过卷积和池化层得出的特征，在全连接层对这些总结好的特征进行分类。
对于convolution layer来说，第一层看的是细小的特征，第二层在第一层的基础上继续往下看，每深一层都会看到更宏观的特征，直到整张图片：

公式：
设原图片的kernal size是nxn，padding = p，stride = s，
filter的kernal size是fxf，新矩阵的尺寸为：

具体的例子如下：

总结

本周对CNN的原理进行学习和研究，深刻了解了filter的kernal size为什么不用设的很大。全连接网络看起来有着较小的model bias，但什么工作都无法做好。CNN比起全连接，虽然model bias较大，但擅长影像、语音等工作。