卷积核基本概念
全连接网络的问题在于参数太多,例如一个尺寸为 200 × 200 × 3 200 \times 200 \times 3 200×200×3的图像会让下一层隐藏层中的一个神经元包含 200 × 200 × 3 = 120 , 000 200 \times 200 \times 3 = 120,000 200×200×3=120,000个权重,而且这一层中可能还不止一个神经元。过多参数带来的后果就是容易导致过拟合,而且不容易训练。因此需要通过一些手段来减少参数数量,降低训练难度。所以就有了卷积神经网络。
卷积神经网络由卷积核组成,所以先从卷积核说起。每一个卷积核只与前一层中的一小块区域连接,所以可以大大减少参数数量。这小块连接的区域称为“感受野”,相当于是卷积核的视野,即卷积核可以“看到”的部分。前一层的输出可以是图片,也可以可以是卷积/池化层的输出。还是用尺寸为 200 × 200 × 3 200 \times 200 \times 3 200×200×3的图像作为例子,假设网络结构为输入-卷积层-输出,卷积层中单个卷积核大小为 3 × 3 3 \times 3 3×3,总共10个卷积核,那么整个网络就只有 10 × ( 3 × 3 × 3 + 1 ) = 280 10 \times (3 \times 3 \times 3 + 1) = 280 10×(3×3×3+1)