论文阅读笔记【2】：ReLU网络复杂性的上下界

论文阅读笔记

基本信息

• 题目：Error bounds for approximations with deep ReLU networks

• 作者：Dmitry Yarotsky

• 关键词：逼近复杂性，深度ReLU神经网络

背景

深度神经网络在图像识别领域的成功，引发了对其性质的研究。我们已经知道深层的神经网络比浅层能更好地逼近目标函数，由于神经网络可以有任意多的层和权重和神经元，那么自然想到这么一个问题，为了逼近特定的函数，需要怎样复杂的模型，才能达到一个特定的精度。在分类问题上，已有的研究基于Vapnik-Chervonenkis维度和Fat-Shattering维度，给出了模型复杂性的上界；本文还给出了模型复杂性的下界。

模型

首先ReLU函数的定义为
$$\sigma (x)=\max (0,x)$$
函数接受隐含层的节点的输出值作为输入变量，即
$$y=\sigma (\sum _{k=1}^N{\omega }_k{x}_k+b)$$
其中的${\omega }_k$和$b$为可调节的权重。显然，ReLU函数是连续的分段线性函数，对于任意以连续的分段线性函数为激活函数的神经网络，作者给出

命题:令函数$\rho :\mathbb{R}\to \mathbb{R}$是有M个间断点的连续分段线性函数，其中$1\le M<\infty$，

(a) 令$\xi$是一个以$\rho$为激活函数的网络，具有L层, W个权重和U个神经元。那么存在一个深度为L，且不大于$(M+1{)}^{2}W$个权重和不大于$(M+1)U$个神经元的ReLU网络$\eta$，使得$\eta =\xi$。

(b) 设$\eta$为L层的ReLU网络，具有W个权重和U个计算单元。设$\mathcal{D}$是${\mathbb{R}}^n$的有界子集，其中$n=\dim (\eta )$。那么，存在一个以$\rho$为激活函数的网络$\xi$，其深度为L，4W个权重，2U个神经元，使得$\eta =\xi$。

这个定理的意义在于建立了一切以线性激活函数模型与ReLU模型之间的对应关系，说明对于ReLU模型的研究是具有一般性意义的。

模型复杂性上界

对于目标函数$f:[0,1{]}^d\to \mathbb{R}$，我们给出ReLU网络的逼近函数$\hat{f}$，误差为
$$\Vert f-\hat{f}{\Vert }_{\infty }=\underset{x\in [0,1{]}^d}{\max }|f(x)-\hat{f}|$$
定义单位球 F n , d = { f ∈ W n , ∞ ( [ 0 , 1 ] d ) : ∥ f ∥ ≤ 1 } F_{n,d}=\{f\in W^{n,\infin}([0,1]^d):\lVert f \rVert \leq1 \} Fn,d​={f∈Wn,∞([0,1]d):∥f∥≤1}，作者先给出了定理说明ReLU网络的通用性，以及构造网络的复杂性上界。

定理：对于$\forall d,n\in N^{+}$以及$\forall ϵ\in (0,1)$，存在一个ReLU网络$g$，使得对于$\forall f\in F_{n,d}$
$$\Vert g-f{\Vert }_{\infty }<ϵ$$
并且$g$至多$c(\ln (\frac{1}{ϵ})+1)$层，有至多$c{ϵ}^{-\frac{d}{n}}(\ln (\frac{1}{ϵ})+1)$个神经元和权重，其中的常数$c$只有$d$和$n$有关

换句话说，对于任意$\forall f\in F_{n,d}$，达到构造达到特定误差的ReLU网络一定是包含有限神经元的。之后作者应用次定理，证明了对于$\forall$ 函数$f\in F_{1,1}$和误差$ϵ\in (0,\frac{1}{2})$存在一个深度为6，至多$\frac{c}{ϵ\ln (\frac{1}{ϵ})}$个权重的神经网络，能够逼近它，并且给出了具体的构造办法。

模型复杂性下界

假设目标函数$f\in F_{d,n}$，根据目标函数的输入输出，用来构造ReLU网络的映射为$\mathcal{M}:F_{n,d}\to R^W$,其中W是网络的权重数量，这函数ReLU网络本身为函数$\eta :R^W\to C([0,1{]}^d)$。这两个函数比较抽象，函数$M$可以理解成向后传播算法，函数$\eta$是结构固定，参数可变的ReLU网络，显然$\eta$是连续的。作者引用了如下的结论

定理：对于固定的$d$，$n$和$W$，函数$\eta :R^W\to C([0,1{]}^d)$，假设存在一给连续函数$\mathcal{M}:F_{d,n}\to R^W$使得
$$\Vert f-\eta (\mathcal{M}(f)){\Vert }_{\infty }\le ϵ$$
那么$W\ge c{ϵ}^{-\frac{d}{n}}$，其中$c$是一个只依赖于$n$的常数。

换句话说，这个定理说明对于给定的逼近精度以及对应的目标函数，权重数量是不可能任意少的。之后作者在文中加强了这个结论进一步将下界缩小到$c{ϵ}^{-\frac{d}{2n}}$。但这依然不是下确界，下一个定理指出下确界的范围

对于$\forall d,n,\exists f\in W^{n,\infty }([0,1{]}^d)$，使得任意ReLU网络$g$，如果满足
$$\Vert f-g{\Vert }_{\infty }<ϵ<1$$
那么当$ϵ\to 0$时，网络$g$的神经元数量$\mathcal{N}(g)\notin o({ϵ}^{-\frac{d}{9n}})$，其中$c$是一个只依赖于$n$的常数。

所以我们知道模型的神经元数量介于$(c{ϵ}^{-\frac{d}{9n}},c{ϵ}^{-\frac{d}{2n}})$。之后作者指出，如果固定模型的深度为$L$，那么为了逼近目标函数，权重和神经元数量$N$的增长与精度$ϵ$的关系为$N>c{ϵ}^{-\frac{1}{2(L-2)}}$，其中$c$是依赖于目标函数$f$和$L$的常数。

结论

本文从两方面证明了深层神经网络比浅层神经网络更有效地逼近目标函数：

• 随着误差界$ϵ\to 0$，满足要求的ReLU网络的深度和神经元数量的上界会一直提高
• 如果目标函数是$C^2$光滑的，那么对于固定深度的ReLU网络，神经元的数量下界也会一直提高

此外，模型的下界还在一定程度上说明为了逼近目标函数，我们不仅需要整模型的权重，最好还要连同模型的结构也一起调整。