花书 《深度学习》 学习笔记 卷积神经网络-理论基础

第九章：卷积网络(convolutional network)

卷积网络一般用在特征提取部分，最终再将提取到地特征作为输入放入到分类器中，那么为什么我们要使用卷积来提取特征，它的优势是什么？

在这一章中我们将学习卷积运算、池化以及卷积的优势

9.1 卷积运算

在通常形式中，卷积是对两个实变函数的一种数学运算。

假设我们现在有一个关于时间的位置函数$x(t)$​,并且该函数具有一定的噪声，我们想要让某一位置更加可信，因此我们需要借助之前的信息来修正该位置信息。显然，时间上越接近的测量结果越相关，我们可以增加一个关于距离目前时间间隔为a加权函数$w(a)$​​,该函数满足a越大,$w(a)$​越小，于是我们可以通过积分得到新的更加平滑的序列$s(t)$​：
$$s(t)=\int x(a)w(t-a)da$$
实际上$w(a)$​是某种概率密度函数，类似于正态分布，距离当前时间点越远，信息权重越低。
以上是在数学形式上的卷积。

------------------------------------------------正文开始----------------------------------------------------

在卷积神经网络中，卷积的第一个参数叫做输入(input),第二个参数叫做核函数(kernel function),输出被称为特征映射(feeature map)

例如，把一张二维的图像I作为输入，我们也许想要使用一个二维的核K：
s ( i , j ) = ( I ∗ k ) ( i , j ) = ∑ m ∑ n I ( m , n ) K ( i − m , j − n ) s(i,j)=(I*k)(i,j)=\sum_m\sum_nI(m,n)K(i-m,j-n) s(i,j)=(I∗k)(i,j)=