卷积神经网络 - 随机或无监督的特征篇

序言

卷积神经网络（$\text{CNNs}$）作为深度学习领域的璀璨明珠，其强大之处在于能够从原始数据中自动学习并提取出丰富的层次化特征。在传统监督学习框架下，$\text{CNN}$通过大量标注数据进行训练，以优化特征提取和分类性能。然而，随着研究的深入，人们开始探索随机或无监督的特征学习方法，以期在更少标注数据或完全无标注数据的情况下，也能让$\text{CNN}$学习到有意义的特征表示。这种方法不仅扩展了$\text{CNN}$的应用场景，也为解决标注数据稀缺的问题提供了新的思路。

随机或无监督的特征

• 通常，卷积网络训练中最昂贵的部分是学习特征。
  • 输出层通常相对便宜，因为在通过若干层池化之后作为该层输入的特征的数量较少。
  • 当使用梯度下降执行有监督训练时，每个梯度步骤需要完整的运行前向传播和反向传播通过整个网络。
  • 减少卷积网络训练成本的一种方式是使用那些不是通过有监督方式训练的特征。
• 有三种基本策略不通过有监督训练而得到卷积核。
  • 其中一个是简单地随机初始化它们。
  • 另一个是手动设计它们，例如设置每个核在一个特定的方向或尺度来检测边缘。
  • 最后，可以使用无监督的标准来学习核。例如，$\text{ Coates et al. (2011)}$ 将 $k$ 均值聚类算法应用于小图像块，然后使用每个学得的中心作为卷积核。
• 后续篇章：深度学习研究系列中，将描述了更多的无监督学习方法。
  • 使用无监督标准学习特征，允许它们的确定与位于网络结构顶层的分类层相分离。
  • 然后只需提取一次全部训练集的特征，构造用于最后一层的新训练集。
  • 假设最后一层类似逻辑回归或者$\text{SVM}$，那么学习最后一层通常是凸优化问题。
• 随机过滤器经常在卷积网络中表现得出乎意料得好$\text{Jarrett et al. (2009b); Saxe et al. (2011)}$; $\text{Pinto et al. (2011)}$; $\text{Cox and Pinto (2011)}$。$\text{ Saxe et al. (2011)}$ 说明，由卷积和随后的池化组成的层，当赋予随机权值时，自然地变得具有频率选择和平移不变性。他们认为这提供了一种廉价的方法来选择卷积网络的结构：首先通过仅训练最后一层来评估几个卷积网络结构的性能，然后选择最好的结构并使用更昂贵的方法来训练整个网络。
• 一个中间方法是学习特征，但是使用一些特殊的方法，这些方法不需要在每个梯度步骤中都进行完整的前向和反向传播。
  • 与多层感知机一样，我们使用贪心逐层式预训练，独立地训练第一层，然后从第一层提取所有特征一次，然后用那些特征隔离训练第二层，以此类推。
  • 篇章：深度模型中的优化系列描述了如何实现有监督的贪心逐层预训练，篇章：深度学习研究系列将此扩展到了无监督的范畴。
  • 卷积模型的贪心逐层预训练的经典模型是卷积深度信念网络 ($\text{Lee et al., 2009}$)。
  • 卷积网络为我们提供了相对于多层感知机更进一步采用预训练策略的机会。
  • 不是一次训练整个卷积层，我们可以训练一小块模型，就像$\text{Coateset al. (2011)}$ 使用 $k$ 均值做的那样。
  • 然后，我们可以用来自这个小块模型的参数来定义卷积层的核。
  • 这意味着使用无监督学习来训练卷积网络并且在训练的过程中完全不使用卷积是可能的。
  • 使用这种方法，我们可以训练非常大的模型，并且只在推理期间产生高计算成本 ($\text{Ranzato et al., 2007c}$; $\text{Jarrett et al., 2009b}$; $\text{Kavukcuoglu et al.,2010}$; $\text{Coates et al., 2013}$)。
  • 这种方法从$2007$年到$2013$年流行，当时标记的数据集很小，并且计算能力更有限。
  • 如今，大多数卷积网络以纯粹有监督的方式训练，在每次训练迭代中使用通过整个网络的完整的前向和反向传播。
• 与其他无监督预训练的方法一样，使用这种方法的一些好处仍然难以说清。无监督预训练可以提供一些相对于有监督训练的正则化，或者它可以简单地允许我们训练更大的结构，因为它的学习规则减少了计算成本。

总结

• 随机或无监督的特征学习为卷积神经网络带来了全新的视角和潜力。
  • 通过引入自编码器、生成对抗网络（$\text{GANs}$）、聚类算法等无监督或弱监督技术，$\text{CNN}$能够在没有或仅有少量标注数据的情况下，自动发现数据中的内在结构和规律，进而学习到具有泛化能力的特征表示。
  • 这些特征不仅有助于提升$\text{CNN}$在下游任务中的性能，还能为数据探索、异常检测等领域提供有力支持。
  • 此外，随机性在无监督学习中也扮演着重要角色，如通过随机初始化、随机扰动等手段增加模型的鲁棒性和泛化能力。
• 综上所述，随机或无监督的特征学习为卷积神经网络的发展开辟了新的道路，使其在未来能够应对更加复杂多变的数据环境和任务需求。

往期内容回顾

深度模型中的优化 - 引言篇
深度模型中的优化 - 学习和纯优化有什么不同篇
深度模型中的优化 - 神经网络优化中的挑战篇
深度模型中的优化 - 基本算法篇
深度模型中的优化 - 参数初始化策略篇
深度模型中的优化 - 具有自适应学习速率的算法篇
深度模型中的优化 - 二阶近似方法篇
深度模型中的优化 - 优化策略和元算法篇