上采样层什么意思_非‘玩具’的隐式多尺度深度均衡模型

在计算机视觉和音频处理等领域，最先进的模式识别系统几乎普遍基于多层层次特征提取器。这些模型是分阶段构建的：输入通过一系列连续的块进行处理，每个块以不同的分辨率操作。这个体系结构明确地表达了层次结构，用上采样层和下采样层在不同规模的连续块之间转换。这种设计的一个重要动机是在这些领域中突出的多尺度结构和极高的信号维数。例如，一个典型的图像包含数百万个像素，这些像素必须由模型进行一致的处理。

诸如神经ODE(NODEs)和深均衡模型(DEQ)等隐式深层网络的最新进展例证了可微分建模的替代方法。这些结构用模型必须满足的解析条件替换显式的、深度叠放的层，并且能够在恒定的内存占用范围内模拟具有“无限”深度的模型。隐式建模的一个显著成就是其成功应用于自然语言处理中的大规模序列。

但隐式深度学习与一般模式识别任务相关吗？其中一个明显的挑战是隐性网络去掉了灵活的“层次”和“阶段”。因此，尚不清楚他们是否可以适当地对多尺度结构进行建模，而多尺度结构在某些领域中对高分辨能力是至关重要的。这是激发我们工作的挑战，放弃层次和阶段的深层序列的隐式模型(implicit models)，能否在具有丰富多尺度结构特征的领域(如计算机视觉)获得具有竞争力的精度?

为了应对这一挑战，本文引入了一类新的隐式网络：多尺度深度均衡模型(MDEQ)。它受到 DEQs的启发，DEQs在序列建模中获得了很高的准确性。我们充分扩展了DEQ的构造，以引入多种信号分辨率的同时均衡建模。MDEQ通过在所有特征尺度上直接优化稳定表示，同时解决了多个分辨率流的平衡。与标准的显式深层网络不同，MDEQ不会连续处理不同的分辨率，而较高的分辨率会流入较低的分辨率，反之亦然。相反，不同的特征尺度在一个单一的“浅”模型中被并行处理，并驱动到平衡点。

这种设计带来两个主要优点。首先，