参数共享 稀疏交互 等变表示_9.2 动机

卷积运算通过三个重要的思想来帮助改进机器学习系统：稀疏交互、参数共享、等变表示。

另外，卷积提供了一种处理大小可变的输入的方法。

我们下面依次介绍这些思想。

1. 稀疏交互

[success]

每个输出与每个输入都有交互 ---> 每个输出只与核有交互，核远小于输入的数量。

传统的神经网络使用矩阵乘法来建立输入与输出的连接关系。%\footnote{译者注：这里可以粗略地理解为输入×\times×参数矩阵=输出。}

其中，参数矩阵中每一个单独的参数都描述了一个输入单元与一个输出单元间的交互。

这意味着每一个输出单元与每一个输入单元都产生交互。

然而，卷积网络具有稀疏交互(也叫做稀疏连接或者稀疏权重)的特征。

这是使核的大小远小于输入的大小来达到的。

举个例子，当处理一张图像时，输入的图像可能包含成千上万个像素点，但是我们可以通过只占用几十到上百个像素点的核来检测一些小的有意义的特征，例如图像的边缘。

这意味着我们需要存储的参数更少，不仅减少了模型的存储需求，而且提高了它的统计效率。

这也意味着为了得到输出我们只需要更少的计算量。

这些效率上的提高往往是很显著的。

如果有mmm个输入和nnn个输出，那么矩阵乘法需要m×nm \times nm×n个参数并且相应算法的时间复杂度为O(m×n)O(m\times n)O(m×n)(对于每一个例子)。

如果我们限制每一个输出拥有的连接数为kkk，那么稀疏的连接方法只需要k×nk\times nk×n个参数以及O(k×n)O(k\times n)O(k×n)的运行时间。

在很多实际应用中，只需保持kkk比mmm小几个数量级，