卷积网络

背景

卷积网络（convolutional network）(LeCun, 1989)，也叫做卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。

假设我们正在用激光传感器追踪一艘宇宙飞船的位置。我们的激光传感器给出一个单独的输出x(t)，表示宇宙飞船在时刻t 的位置。x 和t 都是实值的，这意味着我们可以在任意时刻从传感器中读出飞船的位置。

现在假设我们的传感器受到一定程度的噪声干扰。为了得到飞船位置的低噪声估计，我们对得到的测量结果进行平均。显然，时间上越近的测量结果越相关，所以我们采用一种加权平均的方法，对于最近的测量结果赋予更高的权重。我们可以采用一个加权函数w(a) 来实现，其中a 表示测量结果距当前时刻的时间间隔。如果我们对任意时刻都采用这种加权平均的操作，就得到了一个新的对于飞船位置的平滑估计函数s：

这种运算就叫做卷积（convolution）。卷积运算通常用星号表示：

激光传感器在每个瞬间反馈测量结果的想法是不切实际的。如果我们假设x 和w 都定义在整数时刻t 上，就可以定义离散形式的卷积：