【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】卷积

卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发射器每个时刻$t$产生一个信号$x_t$，其信息的衰减率为$w_k$，即在$k-1$个时间步长后，信息为原来的$w_k$倍，时刻$t$收到的信号$y_t$为当前时刻产生的信息$x_t$和以前时刻延迟信息$w_{t-1}{x}_{t-1}+\cdots +w_1{x}_1$的叠加。假设$w_1=1,w_2=\frac{1}{2},w_3=\frac{1}{4}$也就是
$$\begin{array}{rlr}& x_1& y_1=x_1\\ & x_2& y_2=x_2+\frac{1}{2}{x}_1\\ & x_3& y_3=x_3+\frac{1}{2}{x}_2+\frac{1}{4}{x}_1\\ & ⋮& ⋮\end{array}$$
因此，时刻$t$（假设前面还有n个信号）收到的信号$y_t$可以记作
$$\begin{array}{rl}{y}_t& =w_1{x}_t+w_2{x}_{t-1}+\cdots +w_n{x}_{t-n+1}\\ & =\sum _{k=1}^n{w}_k{x}_{t-k+1}\end{array}$$
其中$w_k$叫做滤波器（filter） 或卷积核（convolution kernel）

定义

给定一个输入信号序列$x$和滤波器$w$，卷积输出为：
$$y_t=\sum _{k=1}^K{w}_k{x}_{t-k+1}$$
也可记作$y_t=x\ast w$，其中$\ast$是卷积符号。要注意卷积核的序列顺序与输入信号序列顺序相反，在运算时需要将卷积核反转。

上图中，下面一行为输入序列$x$，上面为输出序列$y$，卷积核为$[-1,0,1]$，为了计算首先反转卷积核变为$[1,0,-1]$（或者从第三个开始往前计算，完成后再从开始的第三个再往后三个也就是第六个往前，以此类推），将反转后的卷积核在输入序列上平移得到输出序列。对于长度为$N$的输入序列$x$来说，若卷积核长度为$K$，则输出序列$y$长度为$N-K+1$

作用

近似微分

将输入序列$x=[x_{t-1},x_t,x_{t+1}]$看作关于某时刻$t$的函数，即$x(t)=x_t$，根据一阶微分定义
$$x^{\prime }(t)=\frac{x(t+ϵ)-x(t-ϵ)}{2ϵ}$$
令$ϵ=1$可得
$$\begin{array}{rl}{x}^{\prime }(t)& =\frac{x(t+1)-x(t-1)}{2}\\ & =\frac{1}{2}x(t+1)+0\times x_t-\frac{1}{2}x(t-1)\\ & =x\ast w\end{array}$$
其中$w=[\frac{1}{2},0,-\frac{1}{2}]$。因此，当令卷积核$w=[\frac{1}{2},0,-\frac{1}{2}]$时，可以近似信号序列的一阶微分

此外，根据泰勒公式
$$x(t+ϵ)=x(t)+x^{\prime }(t)ϵ+\frac{x^{\prime \prime }(t)}{2!}{ϵ}^2+O({ϵ}^3)$$
因此可得
$$\begin{array}{r}x(t+1)=x(t)+x^{\prime }(t)+\frac{x^{\prime \prime }(t)}{2}\\ x(t-1)=x(t)-x^{\prime }(t)+\frac{x^{\prime \prime }(t)}{2}\end{array}$$
两式相加得
$$\begin{array}{rl}x(t+1)+x(t-1)& =2x(t)+x^{\prime \prime }(t)\\ x^{\prime \prime }& =x(t+1)+x(t-1)-2x(t)\\ & =x\ast w\end{array}$$
其中$w=[1,-2,1]$。因此，当令卷积核$w=[1,-2,1]$时，可以近似信号序列的二阶微分

低通滤波/高通滤波

• 高频信息：在信号序列中，局部数值变化剧烈的信息
• 低频信息：在信号序列中，局部数值变化缓慢的信息

对于一个窗口大小为$K$的卷积核，只需要将滤波器中的每一项设置为$\frac{1}{K}$即可检测信号序列中的低频信息。

上图中$K=3$
一般来说，信号序列中的某个信息出现的频率越高，对应的阶数就越高。因此可以用二阶导数（$w=[1,-2,1]$）的大小来表示其出现的频率。

对卷积进行扩展

为了更灵活的使用卷积，可以对卷积的过程进行扩展，引入滤波器的滑动步长（Stride）$S$和零填充（Padding）$P$

滑动步长是指卷积核在输入序列上每次平移的步长，一般默认滑动步长为1，也就是每次计算完输入序列上的一次卷积后，向前移动一个元素再进行卷积计算，通过增加步长可以减少输出序列的长度。
零填充是指在输入序列的两端各填充$P$个0，这样做可以保证输入序列和输出序列长度相等。对于一个窗口大小为$K$（一般为奇数）的卷积核来说，在输入序列两端各填充$\frac{K-1}{2}$

若输入长度为$M$，步长为$S$，卷积核窗口大小为$K$，零填充为$P$，则输出长度为$M^{\prime }=\frac{M-K+2P}{S}+1$

卷积类型可以按照输出长度不同可以分为三类：

• 窄卷积：步长$S=1$，两端不补零（$P=0$），输出长度为$M-K+1$
• 宽卷积：步长$S=1$，两端补零（$P=K-1$），输出长度为$M+K-1$
• 等宽卷积：步长$S=1$，两端补零（$P=\frac{K-1}{2}$），输出长度为$M$

早期的文献中，卷积一般默认为窄卷积
目前的文献中，卷积一般默认为等宽卷积

二维卷积

输入序列扩展为二维，对这个二维输入序列进行卷积，一般用于图像处理。
给定图像$X\in {\mathbb{R}}^{M\times N}$和一个滤波器$W\in {\mathbb{R}}^{U\times V}$（$U\ll M,V\ll N$） ，其卷积为
$$Y=W\ast X$$
$$y_{ij}=\sum _{u=1}^U\sum _{v=1}^V{w}_{uv}{x}_{i-u+1,j-v+1}$$

卷积核窗口在输入序列上进行滑动，可以计算出每个位置上的信号，最终得到输出。在计算时仍然要对卷积核进行反转。以上图为例，实际上是计算输入与反转后的卷积核的哈达玛积所有元素的和。
输入与输出大小与一维时规则相同，输出$y\in {\mathbb{R}}^{(M-U+1)\times (N-V+1)}$。同样的也可以用滑动步长和零填充的方法来调整输出矩阵的大小：

• 对于步长为1，零填充0的输入序列，输出为${\mathbb{R}}^{(M-U+1)\times (N-V+1)}$
  

• 对于步长为2，零填充0的输入序列，输出为${\mathbb{R}}^{(\frac{M-U}{2}+1)\times (\frac{N-V}{2}+1)}$
  

• 对于步长为1，零填充1的输入序列，输出为${\mathbb{R}}^{M\times N}$
  

• 对于步长为2，零填充1的输入序列，输出为${\mathbb{R}}^{(M-U+1)\times (N-V+1)}$
  

在图像处理中，可以利用卷积作为特征提取器，设计不同的卷积核来提取图像的不同特征。

如上图，通过第一个卷积核（高斯卷积核）可以去除图像中的噪声（用周围点的信息平均中间不一样点的信息），使图像更加平滑；通过第二个卷积核，可以提取图像的边缘特征（上下左右信息的和减去中间信息，即提取图像中的高频信息）；第三个卷积核可以提取图像对角线上的边缘特征（右上角图像信息减去左下角图像信息）