卷积神经网络基础教程

卷积神经网络基础教程

卷积神经网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。

卷积神经网络是一种专门用来处理具有类似网格结构的数据的神经网络，例如时间序列（可以认为是在时间轴上有规律地采样形成的一维网格）和图像数据（可以看作是二维的像素网格）。

卷积运算

一维场合

卷积的一个重要物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。

对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应 加权叠加，就直接得到了输出信号。
形象的物理含义见怎样通俗易懂地解释卷积？ - 知乎

给定一个输入信号序列$x(t), t=1,···,n$，和单位响应序列（有时也称滤波器）$f(t), t=1,···,m$，一般情况下单位响应的长度$m$远小于输入信号长度$n$。
则卷积输出：

$$y(t)=(f*x)(t)=\sum_{k=1}^nf(k)·x(t-k+1))\tag{1}$$
在卷积神经网络中，对于不在 $[1,n]$范围之内的 $x(t)$用零补齐(zero-padding)，输出长度一般为 $n+m-1$。此时也称为 宽卷积。另一类是 窄卷积，输出长度为 $n-m+1$

二维场合

二维卷积经常用在图像处理中。给定一个图像$x_{ij}, 1\le i\le M,1\le j\le N$，和滤波器$f_{ij}, 1\le i\le m,1\le j\le n$，一般$m<<M,n<<N$。
卷积的输出为：

$$y_{ij}=\sum_{u=1}^{m}\sum_{v=1}^{n}f_{uv}·x_{i-u+1,j-v+1}\tag{2}$$
在图像处理中，常用的均值滤波（mean filter）就是当前位置的像素值设为滤波器窗口中素有像素的平均值，也就是 $f_{uv}=\frac{1}{mn}$。

CNN中的卷积层

在全连接前馈神经网络中，如果第$l$层有$n^l$个神经元，第$l-1$层有$n^{l-1}$个神经元，连接边有$n^{(l)}\times n^{(l-1)}$个，也就是权重矩阵有$n^{(l)}\times n^{(l-1)}$个参数。当$m$和$n$都很大时，权重矩阵的参数非常多，训练的效率会非常低

如果用卷积来代替全连接，第$l$层的每一个神经元都只和第$l-1$的一个局部窗口内的神经元相连，构成一个局部连接网络，就可以大大减少权重参数个数。第$l$层的第$i$个神经元的输入定义为：

$$\begin{align*} a_i^{(l)}&=f(\sum_{j=1}^mw^{(l)}\cdot a_{i-j+m}^{(l-1)}+b_i^{(l-1)})\\ &=f(\sum_{j=1}^m{\rm w}^{(l)}\cdot {\rm a}_{(i-j+m):i}^{(l-1)}+b_i^{(l-1)})\\\tag{3} \end{align*}$$
其中 ${\rm w}^{(l)}\in \mathbb{R}^m$为 $m$维的滤波器，${\rm a}_{(i-j+m):i}^{(l-1)}=[a_{(i-j+m):i}^{(l-1)},\dots, a_i^{(l)}]^T$
写成紧凑的向量形式：
$${\rm a}^{(l)}=f({\rm w}^{(l)}\otimes {\rm a}^{(l-1)}+{\rm b}^{(l-1)})\tag{4}$$
从公式 $(4)$中可以看到 ${\rm w}^{(l)}$和 $b^{(l-1)}$对于第 $l$层中的所有神经元都是相同的：权值共享；在卷积层里面，我们只需要$m+1$个参数；第 $l+1$层的神经元个数不是任意选择的，而是满足 $n^{(l+1)}=n^{(l)}-m+1$。

上面是一维的卷积层，在图像处理中，图像是以二维矩阵的形式输入到神经网络中的。设假设$X^{(l)}\in \mathbb R^{(w_l\times h_l)}$和$X^{(l-1)}\in \mathbb R^{(w_{l-1}\times h_{l-1})}$分别是第$l$层和第$l-1$层的神经元活性。$X^{(l)}$的每一个元素为：

$$X_{s,t}^{(l)} =f\Bigg(\sum_{i=1}^u\sum_{j=1}^vW_{i,j}^{(l)}\cdot X_{s-i+u,t-j+v}+b^{(l-1)}\Bigg) \tag{5}$$
其中， $W_{i,j}^{(l)}\in \mathbb R^{u\times v}$为两维的滤波器， $b^{(l-1)}$为偏置项。第 $l$层的神经元个数为$(w_l\times h_l)$，并且 $w_l=w_{l-1}-u+1, h_l=h_{l-1}-v+1$。
写成紧凑的向量形式：
$$X^{(l)}= f(W^{(l)} \otimes X^{(l-1)}+{\rm b}^{(l-1)}) \tag{6}$$
为了增强卷积层的表示能力，我们可以使用 $K$各不同的滤波器来得到$K$组输出，每一组输出都共享一个滤波器。如果把每个滤波器看成一个特征提取器，每一组输出都可以看成是输入图像经过一个特征提取后得到的新特征。因此，在卷积神经网络中每一组输出也叫做一组 特征映射（Feature Map）。

不失一般性，假设第$l-1$层的特征映射组数为$n_{l-1}$，每组特征映射的大小为$m_{l-1}=w_{l-1}\times h_{l-1}$。则第$l-1$层的总神经元数为$n_{l-1}\times m_{l-1}$。第$l$层的特征映射组数为$n_l$。再假设第$l$层的每一组特征映射的输入为第$l-1$层的所有组特征映射，则第$l$层的第$k$组特征映射$X^{(l,k)}$为：

$$X^{(l,k)}= f\Bigg( \sum_{p=1}^{n_{l-1}}\left(W^{(l,k,p)}\otimes X^{(l-1,p)}\right)+b^{(l-1,k)} \Bigg) \tag{7}$$
其中， $W^{(l,k,p)}$表示第 $l-1$层的第 $p$组特征向量到第$l$层的第 $k$组特征映射所需的滤波器。
第$l$层的每一组特征映射都需要 $n_{l-1}$个滤波器以及一个偏置 $b$。假设每个滤波器的大小为$u\times v$，那么共需要训练 $n_l\times n_{l-1}\times (u\times v)+n_l$个参数。这样，第 $l$层就得到$n_l$组特征映射，每一组特征映射的大小为 $m_l=(w_{l-1}-u+1)\times (h_{l-1}-v+1)$，总的神经元个数为 $n_l\times m_l$。

有时，第$l$层的每一组特征映射并不依赖于第$l-1$层的所有特征映射，也即不同层的特征映射并不是全连接的关系，它们的连接关系可以用一个连接表$T$来描述。如果第$l$层的第$k$组特征映射依赖于前一层的第$p$组特征映射，则$T_{p,k}=1$，否则为0.

$$\begin{equation} X^{(l,k)}= f\Bigg( \sum_{\substack{p=1 \\ T_{p,k}=1}}^{n_{l-1}}\left(W^{(l,k,p)}\otimes X^{(l-1,p)}\right)+b^{(l-1,k)} \Bigg) \tag{8} \end{equation}$$

池化（Pooling）

卷积层虽然可以显著减少连接的个数，但是每一个特征映射的神经元个数并没有显著减少。为了解决这个问题，一般会在卷积层后面再加上一个池化（Pooling）操作，也被称为子采样（Subsampling），构成一个子采样层。子采样层可以大大降低特征为数，避免过拟合。
对于卷积层得到的一个特征映射$X^{(l)}$，我们可以将$X^{(l)}$划分为多个区域$R_k,k=1,\dots ,K$。这些区域可以重叠，也可以不重叠。则每个区域映射到下一层的神经元$X_k^{(l+1)}$：

$$\begin{align*} X_k^{(l+1)}&=f(Z_k^{(l+1)})\\ &=f(w^{l+1}\cdot {\rm down}(R_k)+b^{(l)})\\\tag{9} \end{align*}$$
其中 ${\rm down}$是子采样函数， $w^{l+1}$和 $b^{(l)}$分别是可训练的权重和偏置参数。写成紧凑的向量形式：
$$\begin{align*} X^{(l+1)}&=f(Z^{(l+1)})\\ &=f(w^{l+1}\cdot {\rm down}(X^l)+{\rm b}^{(l)})\\\tag{10} \end{align*}$$
注意到，对于每一组特征映射 $X^l$，其内部的采样区域 $R_k,k=1$用到的权重和偏置参数是一样的（参数共享）。
子采样函数 ${\rm down}$一般是取区域内所有神经元的最大值（Maximum Pooling）或平均值（Average Pooling）