深度学习(九)之卷积网络②

本文继续简述卷积网络的知识点，上一篇

深度学习(九)之卷积网络①

9.5 基本卷积函数的变体

当在神经网络的上下文中讨论卷积时，我们通常不是特指数学文献中使用的那种标准的离散卷积运算。实际应用中的函数略有不同。

首先，当我们提到神经网络中的卷积时，我们通常是指有多个并行卷积组成的运算。

另外，输入通常也不仅仅是实值的网络，而是由一系列观测数据的向量构成的网格。例如，一幅彩色图像在每一个像素点会有红蓝绿三种颜色的亮度。在多层的卷积网络中，第二层的输入是第一层的输出，通常在每一个位置包含多个不同卷积的输出。

9.6 结构化输出

卷积神经网络可以用于输出高维的结构化对象，而不仅仅是预测分类任务的类标签或回归任务的实数值。通常这个对象只是一个张量，由标准卷积层产生。

对图像逐个像素标记的一种策略是先产生图像标签的原始猜测，然后使用相邻像素之间的交互来修正该原始猜测。重复这个修正步骤数次对应于在每一步使用相同的卷积，该卷积在深层的最后几层之间共享权重。这使得在层之间共享参数的连续卷积所执行的一系列运算，形成了一种特殊的循环神经网络。下图给出了一个循环卷积网络的结构。

9.7 数据类型

卷积网络使用的数据通常包含多个通道，每个通道是时间上或空间中某一点的不同观测量。

卷积网路的一个优点是它们还可以处理具有可变的空间尺度的输入。这些类型的输入不能用传统的基于矩阵乘法的神经网络来表示。

9.8 高效的卷积算法

现代卷积网络的应用通常需要包含超过百万个单元的网络。利用并行计算资源的强大实现是很关键的。然而，在很多情况下，也可以通过选择适当的卷积算法来加速卷积。

卷积等效于使用傅里叶变换将输入与核度转换到频域、执行两个信号的逐点相乘，再使用傅里叶变换转换会时域。对于某些问题的规模，这种算法可能比较离散卷积的朴素实现更快。

9.9 随机或无监督的特征

通常，卷积网络训练中最昂贵的部分是学习特征。输出层的计算迭代代价通常相对不高，因为在通过若干层池化之后作为该层输入的特征的数量较少。当使用梯度下降执行监督训练时，每步 梯度计算需要完整地运行整个网络的前向传播和反向传播。减少卷积网络训练成本的一种方式是使用那些不是有监督方法训练得到的特征。

有三种基本策略可以不通过监督训练而得到卷积核。其中一种是简单地随机初始化他们。另一种是手动设计它们，例如设置每个核在一个特定的方向或尺度来检测边缘。最后，可以使用无监督的标准来学习核。

9.10 卷积网络的神经科学基础

卷积网络也许是生物学启发人工智能的最为成功的案例。 
初级视觉皮层，也称为V1，是大脑的一部分。是大脑对视觉输入开始执行显著高级处理的第一个区域。

卷积网络层被设计为描述V1的三个性质：

1. V1可以进行空间映射。它实际上具有二维结构来反映视网膜中的图像结构。

2. V1包含许多简单细胞。简单细胞活动在某种程度上可以概括为在一个小的空间位置感受视野内的图像的线性函数。

3. V1还包括许多复杂细胞。这些细胞性类似于有简单细胞检测的那些特征，但是复杂细胞对于特征的位置微小偏移具有不变性。

   神经科学和机器学习之间最显著的对应关系，是熊视觉上比较机器学习模型学得的特征与使用V1得到的特征。一个简单的无监督学习算法，稀疏编码，学习的特征具有与简单细胞类似的接受域。

9.11 卷积网络与深度学习的历史

卷积网络在深度学习的历史中发挥了重要的作用。它们是将研究大脑获得的深刻理解成功用于机器学习应用的关键例子。卷积网络是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习商业应用的前沿。

卷积网络提供了一种方法来特化神经网络，使其能够处理具有清楚的网络结构拓扑的数据，以及将这样的模型扩展到非常大的规模。这种方法在二维图形拓扑上是最成功的。