CNN补充知识

CNN的三大特色：局部感知、权重共享和多卷积核

1、局部感知

感受野的概念：

在神经网络中，每个神经元都是从上一层中的一些位置接收输入，在全连接层中，每个神经元从每一个元素位置接收输入。在卷积层，神经元仅仅从上一层的有限局部区域接收输入，这个区域是个方形区域（比如5×5），神经元的输入部分被称为感受野。在全连接层，感受野是整个前一层。随着网络体系结构的深入，接收区域中原始输入图像的子区域越来越多。这是由于一遍又一遍地应用了一个卷积，该卷积既考虑了特定像素的值，也考虑了周围像素的值。

局部感知

局部感知就是我们上面说的感受野，实际上就是卷积核和图像卷积的时候，每次卷积核所覆盖的像素只是一小部分，是局部特征，所以说是局部感知。CNN是一个从局部到整体的过程（局部到整体的实现是在全连通层），而传统的神经网络是整体的过程。

维基百科中的解释

2、权重共享

不同的图像或者同一张图像共用一个卷积核，减少重复的卷积核。同一张图像当中可能会出现相同的特征，共享卷积核能够进一步减少权值参数。

维基百科

3、多卷积核

一种卷积核代表的是一种特征，为获得更多不同的特征集合，卷积层会有多个卷积核，生成不同的特征，这也是为什么卷积后的图片的高，每一个图片代表不同的特征。

---

一点补充：

维基百科上全连接层的定义：完全连接的层将一层中的每个神经元连接到另一层中的每个神经元。它在原则上与传统的多层感知器神经网络（MLP）相同。展平的矩阵经过一个完全连接的层以对图像进行分类。

参考

https://en.wikipedia.org/wiki/Convolutional_neural_network.
https://blog.csdn.net/mmm_jsw/article/details/88185491.