卷积神经网络(CNN)基础知识

卷积神经网络基础知识

卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权值共享等特性的深层前馈神经网络。
卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题：

1. 参数太多：如果输人图像大小为100×100×3（即图像高度为100，宽度为100以及RGB 3个颜色通道），在全连接前馈网络中，第一个隐藏层的每个神经元到输入层都有100×100×3=30000个互相独立的连接，每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现过拟合。
2. 局部不变性特征：自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息：而全连接前馈网络很难提取这些局部不变性特征，一般需要进行数据增强来提高性能。卷积神经网络是受生物学上感受野机制的启发而提出的。感受野(Receptive Field）机制主要是指听觉、视觉等神经系统中一些神经元的特性，即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中的神经细胞的输出依赖于视网膜上的光感受器。视网膜上的光感受器受刺激兴奋时，将神经冲动信号传到视觉皮层，但不是所有视觉皮层中的神经元都会接受这些信号，一个神经元的感受野是指视网膜上的特定区域，只有这个区城内的刺激才能够激活该神经元。

目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络。卷积神经网络有三个结构上的特性：局部连接、权重共享以及汇聚。这些特性使得卷积神经网络具有一定程度上的平移缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。
卷积神经网络主要使用在图像和视频分析的各种任务（比如图像分类、人脸识别、物体识别、图像分割等）上，其准确率一般也远远超出了其他的神经网络模型．近年来卷积神经网络也广泛地应用到自然语言处理、推荐系统等领域。

卷积与互相关

卷积

卷积（Convolution），是分析数学中一种重要的运算。在信号处理或者图像处理中，经常使用一维卷积或二维卷积

一维卷积

一维卷积经常用在信号处理中，用于计算信号的延迟累积，假设一个信号发生器每个时刻t产生一个信号$x_t$，其信息的衰减率为${\omega }_k$。即在$K-1$个时间步长后，信息为原来的$\omega$倍。假设${\omega }_1=1,{\omega }_2=1/2,{\omega }_3=1/4$，那么在时到t收到的信号，为当前时刻产生的信息和以前时刻延迟信息的叠加，
$$\begin{array}{l}{\mathrm{y}}_{\mathrm{t}}=1\times x_t+\frac{1}{2}\times x_{t-1}+\frac{1}{4}\times x_{t-2}\\ ={\omega }_1\times x_t+{\omega }_2\times x_{t-1}+{\omega }_3\times x_{t-2}\\ =\sum _{k=1}^3{\omega }_k{x}_{t-k+1}\end{array}$$
我们把${\omega }_1,{\omega }_2,...$称为滤波器或卷积核。假设滤波器的长度为$K$，它和一个信号序列$x_1,x_2...$的卷积为:
$$y_t=\sum _{k=1}^K{\omega }_k{x}_{t-k+1}$$
为了简单起见，假设卷积的输出$y_t$的下标$t$从$K$开始。
信号序列$x$和滤波器$\omega$卷积定义为:
$$\mathbf{y}=\mathbf{w}\ast \mathbf{x}$$
其中$\ast$表示卷积运算。一般情况下滤波器的长度K远小于信号序列x的长度。
我们可以设计不同的滤波器来提取信号序列的不同特征。比如，当令滤波器$\omega =[1/K,\dots ,1/K]$时，卷积相当于信号序列的简单移动平均（窗口大小为$K$）；当令滤波器$\omega =[1,-2,1]$时，可近似对信号序列的二阶微分，即
$$x^{\prime \prime }(t)=x(t+1)+x(t-1)-2x(t)$$
图1,给出了两个滤波器的一维卷积示例。可以看出，两个滤波器分别提取了输入序列的不同特征。滤波器 ω = [ 1 / 3 , 1 / 3 , 1 / 3 ] ω=[1/3,1/3,1/3]