Multiscale Deep Equilibrium Models

简介

在本文中，作者提出了一种全新的隐式网络结构即Mutiscale Deep Equilibrium Model简称MDEQ，是对DEQ模型的一个推广版本。关于DEQ的讲解稍后会进行整理。
简单的说，MDEQ就是将DEQ模型应用到多尺度上，例如分别对图像不同尺度的像素求其平衡点，这样多尺度处理的特性，也可以使得模型可以进行多任务的学习。
在本文中作者主要将其应用到图像分类与语义分割两个任务上。
在图像领域，一张图片可能会包含上百万个像素，这使得多尺度操作显得尤为重要，这一般包括如向下采样以及向上采样的过程。
而最近兴起了一类被称为隐式建模的方法，如NODE和DEQ，这类模型则通过隐式建模，通过数值方法直接去求解每一个中间状态需要满足的条件，从而将网络的深度推向“无限”，但这类模型似乎并不能很好的处理多尺度的信息，而在本文中，作者就是想使用隐式建模的方法去解决多尺度的的问题，如CV中的一些经典问题。

MDEQ

MDEQ通过对不同尺度的特征进行同时求解并优化来处理不同尺度上的信息，具体来说就是对不同尺度上的信息应用不同的DEQ，并同步的进行优化。这样做的优点与DEQ模型基本相同：常数级的内存占用。同时MDEQ也弥补了DEQ模型的缺点，即使得DEQ模型可以被用于多目标任务的学习。