论文阅读笔记（14）：DEEP NETWORKS FROM THE PRINCIPLE OF RATE REDUCTION, 从率下降原理看深度网络

---

拜读马毅老师的 maximal coding rate reduction (MCR${}^2$)
部分小节略过

1 介绍和动机

近年来，各种深度（卷积）网络架构，如AlexNet、VGG、ResNet、DenseNet、递归CNN、LSTM、胶囊网络等，在实际数据集（如语音和图像）的分类任务中表现出非常好的性能。然而，几乎所有此类网络，包括其架构、算子和训练方式，都是通过多年的经验和试错开发的。最近的一些实践甚至走到了极端，通过广泛的随机搜索技术来寻找有效的网络结构和训练策略，如神经架构搜索（Zoph&Le，2017；Baker等人，2017年）、AutoML（Hutter等人，2019年）和Learning to Learning（Andrychowicz等人，2016年）。

尽管在经验上取得了巨大的进步，但对于“深层”网络体系结构的必要性或原因仍然缺乏严格的理论证明，并且对每一层中的相关算子（例如，多通道卷积和非线性激活）缺乏基本的理解。因此，深度网络通常是经过启发式设计和训练，然后作为“黑箱”使用。每个阶段都严重缺乏指导原则：对于给定的任务，网络应该有多宽或多深？多个（卷积）通道之间的作用和关系是什么？网络的哪些部分需要学习和训练，哪些可以提前确定？如何评估结果网络的最优性？因此，除了经验评估外，通常不可能为经过训练的网络的某些性能提供任何严格的保证，例如变换不变性、或噪音过拟合甚至任意标签（Zhang等人，2017年）。

在本文中，我们不打算解决所有这些问题，但我们将试图通过从第一性原理导出一类深度网络来提供合理解释。我们认为，现代深度（卷积）神经网络的所有关键特征和结构都可以自然地从优化一个原则性目标中获得，即Yu等人（2020）最近提出的率下降（rate reduction），该目标寻求数据的紧凑判别（不变的）表示。更具体地说，用于优化目标的基本迭代梯度上升法自然采用深度神经网络的形式，每次迭代一层。

这种原则性的方法带来了：

• 首先，网络的架构、算子和参数可以以正向传播的方式逐层显式构建，并且都继承了精确的优化、统计和几何解释。因此，如此构造的“白盒”深度网络已经提供了良好的判别表示（并实现了良好的分类性能），而无需任何反向传播来训练深度网络。

• 其次，在寻求对移位或平移严格不变的表示的情况下，网络自然适合于多通道卷积网络。此外，推导表明，这种卷积网络在（傅里叶）频域中学习和构造的计算效率更高。

2 技术实现

考虑基本的分类任务：给定$m$个样本$\text{X}=[x^1,...,x^m]\in {\mathbb{R}}^{n\times m}$和对应$k$个类的中的所属关系$\pi (x^i)\in [k]$。传统上深度网络直接从输入数据$x\in {\mathbb{R}}^n$到label进行映射$f(x,\theta ):x\mapsto y\in {\mathbb{R}}^k$。注意到$y\in {\mathbb{R}}^k$意味着label是one-hot的。而$\theta$则是网络的参数，通过梯度下降型反向传播法来学习最小化一个特定的损失函数（如交叉熵）。

虽然这种流行的方法为人们提供了一种直接而有效的方法来训练网络，但是这种学习的表达方式是隐式的，缺乏明确的解释。

2.1 率下降和群不变性（group invariance）原理

2.1.1 最大编码率下降（Maximal Coding Rate Reduction）

为了更好地理解在深度网络中学习到的特征，Yu等人最近的工作认为，（深度）学习的目标是先学习数据x的紧凑、有判别力、和多样的特征表示$z=f(x)\in {\mathbb{R}}^n$，然后用于任何下游任务（如分类）：

也就是说，这实际上并非直接把输入$x$拿去fit标签$y$，我们的目标应当先学映射$f(x)$来把$x$变换到$z$，它属于一组最具有判别力的、低维的、线性子空间集合 { S j } j = 1 k ⊂ R n \{\mathcal S^j\}^k_{j=1}\subset \mathbb R^n {Sj}j=1k​⊂Rn，每个类${\mathcal{S}}^j$对应一个子空间$j\in [k]$。

令$Z=[z^1,...,z^m]=[f(x^1),...,f(x^m)]$给定数据集$X$的features。不妨假设这些features都被规范化为单位范数：$z^i\in {\mathbb{S}}^{n-1}$。为方便期间，令${\Pi }^j\in {\mathbb{R}}^{m\times m}$为对角阵，其对角元素编码属于第$j$类的样本/特征：${\Pi }^j(i,i)=\pi (x^i)=\pi (z^i)$。

之后根据有损数据压缩原理（principles from lossy data compression），Yu等人（2020）提出了最佳的表达$Z_{\ast }\subset {\mathbb{S}}^{n-1}$应当最大化下面的编码率下降目标函数（也就是MCR${}^2$）：

其中：

给定一个规定的量化误差$ϵ$, $∆R(Z)$的第一项$R(z)$度量所有特征$Z$的总编码长度，第二项$R_c(Z,\Pi )$是$k$类中每个特征的编码长度之和。

在Yu等人（2020年）中，作者展示了最佳表达$Z$ 使上述目标最大化的方法确实具有令人满意的效果。然而，他们采用了传统的深度网络（如ResNet）作为黑盒来建模和参数化特征映射：$z=f(x,\theta )$。经验表明，通过这样的选择，可以有效地优化MCR${}^2$目标，并获得用于对真实图像数据进行分类的区分性和多样性表示。

然而，仍然存在一些尚未解决的问题。虽然生成的特征表示更具可解释性，但网络本身仍然不具有可解释性。不清楚为什么任何选择的网络都能够优化预期的MCR${}^2$目标：是否存在任何潜在的限制？良好的经验结果（比如使用ResNet）并不一定证明网络架构和算子的特定选择是合理的：为什么需要分层模型？多宽和多深是足够的？使用卷积和非线性运营商是否有严格的理由？在第2.2节中，我们展示了使用梯度上升来最大化速率下降$∆R(Z)$自然会导致一个代表这种映射的“白盒”深度网络。网络的所有线性/非线性算子和参数均以纯正向传播方式显式构造。

2.1.2 群不变性率下降（Group Invariant Rate Reduction）

到目前为止，我们将数据和特征视为向量。在许多应用中，如串行数据或图像数据，数据的语义（标签）及其特征对某些变换$g\in \mathbb{G}$具有不变性。例如，音频信号的含义对时移是不变的；图像的含义对图像平移是不变的。因此，我们需要特征映射$f(x,\theta )$对此类变换严格不变：

其中”$\sim$” 表示属于同一等效类的两个要素。在第2.3节中，我们展示了MCR${}^2$原理以一种非常自然和精确的方式与不变性兼容：我们只需要指定所有变换后的版本 { x ◦ g ∣ g ∈ G } \{x◦\mathfrak g|\mathfrak g∈\mathbb G\} {x◦g∣g∈G} 将它们都映射到同一子空间$\mathcal{S}$。当群G是（离散的）循环1-D或2-D平移时，产生的深度网络自然成为多通道卷积网络！

2.2 从最优化率下降角度看深度网络

2.2.1 在训练数据时率下降的梯度上升法

首先，考虑对特征$Z\in {\mathbb{S}}^{n-1}$最小化作为目标函数的$\Delta R(X)$。对此我们使用步幅$\eta >0$的梯度上升法：

该方法可解释为如何增量调整当前特征$Z_{\ell }$的位置，以使修正后的$Z_{\ell +1}$改善速下降$∆R(Z)$。简单计算表明，梯度$\frac{\partial ∆R}{\partial Z}$需要计算公式（1）中以下项的导数：

$[logdet(A){]}^{\prime }=A^{-1}\cdot A^{\prime }$

注意，上式中$E_{\ell }$项只取决于$Z_{\ell }$，且它的目标是扩展所有特征以提高总体编码率；矩阵$C_{\ell }^j$取决于每个类的特征，旨在压缩它们以降低每个类的编码率。那么完整的梯度是以下形式：

类间扩展，类内压缩，相当于把互相纠缠每个子空间独立出来，就好分类了

Remark 1 (对线性算子$E_{\ell }$和$C_{\ell }^j$的解释)

对于任意特征$z_{\ell }\in {\mathbb{R}}^n$，有：

请注意，$q_{\ell }^{\ast }$ 正是所有相关数据点$Z_{\ell }$的岭回归解。因此，当m足够大时，$E_{\ell }$（类似于$C_{\ell }^j$）近似于：由$Z_{\ell }$的列所张成（span）的子空间的正交补上的投影。

另一种对矩阵$E_{\ell }$解释是根据协方差矩阵$Z_{\ell }{Z}_{\ell }^{\ast }$的特征值分解。设$Z_{\ell }{Z}_{\ell }^{\ast }$的特征分解表示为： Z ℓ Z ℓ ∗ = U ℓ Λ ℓ U ℓ ∗ , Λ ℓ = d i a g { σ 1 , . . . , σ d } Z_\ell Z^*_\ell = U_\ell \Lambda_\ell U^*_\ell,\Lambda_\ell=diag\{\sigma_1,...,\sigma_d\} Zℓ​Zℓ∗​=Uℓ​Λℓ​Uℓ∗​,Λℓ​=diag{σ1​,...,σd​}，那么有：

因此，矩阵E通过拉伸对向量z进行运算，从而缩小大变化的方向，同时保持消失变化的方向。这些正是我们移动特征的方向（4），这样整体体积会扩大，编码率会增加，因此是正号。相反，与（5）相关联的方向是每类特征的“残差”，偏离了它们应该属于的子空间。这些正是特征需要压缩回各自子空间的方向，因此是负号（见图1）。

本质上，梯度上升中用于率下降的线性运算$E_{\ell }$和$C_{\ell }^j$是由进行“岭回归”的训练数据确定的。最近对过参数化环境下岭回归的重新认识指出，使用看似冗余的采样数据（来自每个子空间）作为回归器不会导致过度拟合。

2.2.2 梯度引导的feature map递增

之前提到的梯度递增将所有的特征$Z_{\ell }=[z_{\ell }^1,...,z_{\ell }^m]$作为自由变量，每次迭代的增量$Z_{\ell +1}-Z_{\ell }=\eta \frac{\partial ∆R}{\partial Z}{|}_{Z_{\ell }}$尚未对整个特征域$z_{\ell }\in {\mathbb{R}}^n$进行变换，因此，为了显式地求解最佳$f(x,\theta )$，我们可以考虑在$\ell$层特征$Z_{\ell }$上构造一个小增量变换$g(\cdot ,{\theta }_{\ell })$来模拟上述（投影）梯度：

使得：

也就是说，我们需要近似梯度流$\frac{\partial ∆R}{\partial Z}$，通过再整个特征空间$z_{\ell }\in {\mathbb{R}}^n$中定义的连续的映射$g(z)$来对每一个训练的特征 { z ℓ i } i = 1 m \{z^i_\ell\}_{i=1}^m {zℓi​}i=1m​进行局部变形。

Remark 2 与神经网常微分方程（nerual ODE）的联系和区别

我们可以将公式（9）中的增量解释为连续常微分方程的离散化版本：

因此，这样构造的（深层）网络可以解释为某种神经常微分方程。然而不同的是，在神经ODE中，增量变换流$g$被选择为一些通用结构，其参数在后面进行训练，这里我们的$g(z,\theta )$是在特征集上模拟率下降的梯度流

并且其结构和参数是完全由该目标函数导出和决定的，完全不依赖于其它先验知识、启发式或post-training。

通过观察(6)的梯度结构，发现这暗含了一个天然的增量transform$g(z_{\ell },{\theta }_{\ell })$的候选：

其中${\pi }^j(z_{\ell })\in [0,1]$可以看作是特征$z_{\ell }$属于第$j$个类的概率。注意到该增量取决于：

1. 一个由$E_{\ell }$表出的线性映射，$E_{\ell }$仅由所有来自前一层的所有特征的状态决定。
2. 一个线性映射的集合 { C ℓ j } j = 1 k \{C_\ell^j\}^k_{j=1} {Cℓj​}j=1k​和它的特征对应的隶属度 { π j ( z ℓ ) } j = 1 k \{\pi^j(z_\ell)\}^k_{j=1} {πj(zℓ​)}j=1k​。

由于我们只有训练样本的隶属度${\pi }^j$，所以（11）中定义的函数$g$只能在训练样本上求值。为了将函数$g$外推到整个特征空间，我们需要在其第二项中估计${\pi }^j(z_{\ell })$。在传统的深度学习中，该映射通常被建模为一个深度网络，并从训练数据中学习，例如通过反向传播。然而，我们的目标不是要学习一个精确的分类器${\pi }^j(z_{\ell })$。相反，我们只需要对类信息进行足够好的估计，就可以使$g$逼近梯度$\frac{\partial ∆R}{\partial Z}$。

根据Remark 1给出的对线性映射$E_{\ell }$和$C_{\ell }^j$的几何解释，项$p_{\ell }^j=C_{\ell }^j{z}_{\ell }$可以看作是将$z_{\ell }$投影到每个类$j$的正交分量上。因此，$||p_{\ell }^j||$在$z_{\ell }$属于类$j$时较小，不属于时则较大。这启发我们基于如下形如softmax的函数去估计它的隶属度：

因此公式(11)的第二项可以用以上近似改写为：

如等式右侧所示，该项可以被定义为一种非线性算子$\sigma$。该算子作用于特征$z_{\ell }$经过$k$个滤波器库$[C_{\ell }^1,...,C_{\ell }^k]$后的输出。注意到，这种非线性其实是由于将基于这些过滤器的特征隶属度进行“soft”分配而产生的。结合上述公式(9)(11)(12)，将特征从$z_{\ell }$transform到$z_{\ell +1}$的增量可以如下表示：

利用上面定义的非线性函数$\sigma (\cdot )$和${\theta }_{\ell }$收集所有分层参数，包括$E_{\ell }$、$C_{\ell }^j$、${\gamma }_j$和$\lambda$，并且每个层的特征始终“归一化”到范数球${\mathbb{S}}^{n-1}$上，表示为${\mathcal{P}}_{{\mathbb{S}}^{n-1}}$。下图可以说明（13）中的增量形式。

2.2.3 从率下降看深度网络

请注意，增量的构造是为了模拟率下降$\Delta R$的梯度上升。因此，通过上述过程迭代地转换特征，我们期望率下降会增加，正如我们将在实验部分中看到的那样。这个迭代过程，一旦在L次迭代后收敛，就会给出在输入$z_0=x$上所期望的特征映射$f(x,\theta )$，这正是深度网络的形式，其中每一层的结构上图所示：

这种深层网络我们称之为ReduNet。请注意，网络的所有参数都是以正向传播方式逐层显式构造的。一旦构建，就不需要任何额外的监督学习，比如通过反向传播。如此学习的特征可以通过最近的子空间分类器直接用于分类。

ReduNet的所有组件（层、通道和算子）都是由第一原理显式构造的，它们都有精确的优化、统计和几何解释。此外，不需要从反向传播中学习它们。但上如果需要进一步微调网络，它仍然可以学习。

2.3 从平移不变性(SHIFT-INVARIANT)的率下降看深度卷积网络

接下来，我们从变换不变性的角度来研究ReduNet。以移位/平移不变性这一基本且重要的例子为例，我们将表明，ReduNet构造自动采用（多通道）卷积神经网络的形式，而不是启发式地施加在其上。

2.3.1 一维串行数据和移位不变性

对于一维数据$x=[x(0),x(1),...,x(n-1)]\in {\mathbb{R}}^n$在移位对称的情况下，我们取$\mathbb{G}$为循环移位的群。每个观测到的$x^i$生成一个族 { x i ◦ g ∣ g ∈ G } \{x^i◦\mathfrak g | \mathfrak g∈\mathbb G\} {xi◦g∣g∈G}移位的copies，即循环矩阵$circ(x^i)\in {\mathbb{R}}^{n\times n}$的列：

如果我们从这些族$Z_1=[circ(x^1),...,circ(x^m)]$构造ReduNet会发生什么？数据协方差矩阵：

与此样本族关联的是一个对称的循环矩阵。此外，由于循环性质在和、逆和积下保持不变，因此矩阵$E_1$和$C_1^j$也自动成为循环矩阵，这种应用于特征向量$z$可以使用循环卷积来实现. 具体来说，我们有以下命题：

命题2.1：$E_1$和$C_1^j$的卷积结构

$E_1=\alpha (I+\alpha Z_1{Z}_1^{\ast }{)}^{-1}$为循环矩阵且可以表示为如下的循环卷积：

其中$e_1\in {\mathbb{R}}^n$为$E_1$第一列的向量，循环卷积被定义为：

类似地，与$Z_1$的任何子集相关联的矩阵$C_1^j$也是循环卷积。

根据上述命题，我们有：

因为$g(\cdot ,{\theta }_1)$仅包括随循环移位而变化的操作，下一级的特征$Z_2$又对应于$Z_2=[cir(x^1+\eta g(x^1,{\theta }_1),\cdots ,circ(x^m+\eta g(x^m,{\theta }_m))]$的循环移位。如此循环，我们可以知道基于$Z_{\ell }$的矩阵$E_{\ell }$和$C_{\ell }^j$都是循环的。

由于数据的属性，ReduNet采用了卷积网络的形式，无需显式选择此结构！

2.3.2 多通道提升(lifting)和稀疏性的作用

但有一个问题：一般来说，向量$z$所有循环的集合形成了一个满秩矩阵。也就是说，与每个样本（因此每个类）关联的$n$个“增强”特征通常已经跨越整个空间${\mathbb{R}}^n$。MCR${}^2$目标（1）将无法将类区分为不同的子空间。

一种自然的补救方法是通过将原始信号**“提升”到更高的维度空间来改善数据的可分性**，例如，通过将其响应乘以滤波器$k_1,...,k_C\in {\mathbb{R}}^n$：

这些滤波器可以是预先设计的不变性滤波器，或者从数据中自适应学习，或者像我们在实验中所做的那样随机选择。此操作将每个原始信号$x$提升为$C$-通道特征，表示为$\overline{z}=[z[1]，\dots ,，z[C]{]}^{\ast }\in {\mathbb{R}}^{C\times n}$。然后，我们可以在$\overline{z}$的向量表示上构造ReduNet，表示为$vec(\overline{z})=[z[1{]}^{\ast },...,z[C{]}^{\ast }]\in R$。所有对应的循环版本$circ(\overline{z})$及其数据协方差矩阵表示为$\overline{\Sigma }$，如下所示：

其中$circ(z[c])\in {\mathbb{R}}^{n\times n}$与$c\in [C]$是特征$z$的第$C$个通道的循环版本。那么$circ(z)$的列最多只能跨越${\mathbb{R}}^{nC}$中的一个n维子空间。

然而，这种简单的线性提升操作还不足以使类之间可分离——与其他类相关联的特征将span相同的n维子空间。这反映了线性子空间建模和不变性之间的根本冲突。

解决这一冲突的一种方法是利用额外结构，即稀疏性：每一类中的信号都不是由一些基原子（或基序）的任意线性组合产生的，而只是它们的稀疏组合及其移位版本。${\mathcal{D}}_j$表示与类$j$相关的原子集合，也称为字典，则对于一些稀疏向量$z$，该类中的每个信号稀疏生成为：

然后，不同类别的信号由原子（或基序）彼此不相干的不同词典生成。由于不相干性，一类中的信号不可能稀疏地由任何其他类中的原子表示。因此，k类中的所有信号都可以表示为：

其中$\overline{z}$是稀疏的。有大量关于如何从样本数据中学习最紧凑和最佳稀疏字典的文献，然后求解对偶问题并计算相关的稀疏编码$z$或$\overline{z}$。

然而，这里我们对每个信号的最佳字典和精确稀疏代码不感兴趣。我们只对每一类的稀疏码集与其他类的稀疏码集是可分离的感兴趣。在稀疏生成模型的假设下，如果卷积核与上述稀疏字典（也称为分析滤波器）的“转置”或“逆”匹配良好，一类信号仅对这些滤波器的一小部分具有高响应，而对其他滤波器具有低响应（由于非相干假设）。在实践中，通常足够数量的随机滤波器足以确保不同类别的特征对不同滤波器具有不同的响应模式，从而使不同类别可分离。由于最优稀疏编码不是本文的重点，我们将在实验中使用简单的随机滤波器设计，这足以验证这一概念。

多通道响应的$\overline{z}$应该是稀疏的。因此，为了近似稀疏代码$\overline{z}$，我们可以通过将低值（如绝对值低于$ϵ$）或负响应设置为零，在滤波器输出上采用一个入口处稀疏化的非线性阈值，如$\tau (\cdot )$：

可以参考（Rubinstein&Elad，2014）对稀疏阈值算子的设计进行更系统的研究。非线性算子$\tau$可以简单地选择为软阈值或ReLU。这些可能的稀疏特征$\overline{z}$可以假设位于${\mathbb{R}}^{n\times C}$中的低维（非线性）子流形上，该子流形可以通过后续的ReduNet层线性化并与其他类别分离，如图3所示。

多类信号输入>多通道提升&稀疏编码>不变性率下降>转化到不相干子空间中

从循环版本的多通道特征$\overline{z}$（即$circ(\overline{Z})=[circ({\overline{z}}^1),...,circ({\overline{z}}^m)]$）构建的ReduNet保持了上述良好的不变性：线性算子$E$和${\overline{C}}^j$， 保持块循环并代表了多通道的一维循环卷积。具体来说有以下结论：

命题 2.2 $E_1$和$C_1^j$的 多通道 卷积结构

该矩阵是块循环的，即：

其中每个${\overline{E}}_{c,c^{\prime }}\in {\mathbb{R}}^{n\times n}$为一个循环矩阵。此外，$\overline{E}$代表一个多通道的循环卷积，即对于任何一个多通道信号$\overline{z}\in {\mathbb{R}}^{C\times n}$。我们有：

在上式中，$\overline{e}\in {\mathbb{R}}^{C\times C\times n}$为多通道的kernel核，$\overline{e}[c,c^{\prime }]$为${\overline{E}}_{c,c^{\prime }}$的第一列向量，且有如下多通道循环卷积计算的定义：

根据上述命题，ReduNet是一个对多通道一维信号的深度循环卷积。

2.3.3 与循环和卷积稀疏编码的联系

Gregor&LeCun（2010）的稀疏编码观点后来被扩展到串行数据的循环和卷积网络。尽管稀疏性和卷积性长期以来都被认为是深度网络的理想特征，但它们的必要性和精确作用从未得到明确和严格的证明，至少没有直接从网络的目标出发，比如分类。在我们的框架中，我们看到了多通道卷积$(\overline{E}，{\overline{C}}^j)$，不同的非线性激活$({\hat{\pi }}^j,\tau )$和稀疏性要求是从实现平移不变性的同时最大化特征的率下降目标推导而来的，而不是启发式地提出的。

2.3.4 自然界中的稀疏编码和谱计算

有趣的是，有强有力的科学证据表明，视觉皮层中的神经元以尖峰的速率编码和传递信息，因此被称为“尖峰神经元”。请注意，稀疏编码也是视觉皮层的一个主要特征。如此引人注目的是，大自然可能已经“学会”利用上述数学原理的优势，特别是稀疏编码和谱域的计算效率，以实现不变（视觉）识别。