The Expressive Power of Neural Networks: A View from the Width

Lu Z, Pu H, Wang F, et al. The expressive power of neural networks: a view from the width[C]. neural information processing systems, 2017: 6232-6240.

@article{lu2017the,
title={The expressive power of neural networks: a view from the width},
author={Lu, Zhou and Pu, Hongming and Wang, Feicheng and Hu, Zhiqiang and Wang, Liwei},
pages={6232–6240},
year={2017}}

概

Universal approximation theorem-wiki, 这个定理分成俩个部分, 第一个部分是Unbounded Width Case, 这篇文章是Bounded Width Case (ReLu网络).

主要内容

定理1

另外, 定理1中的网络由若干个(视$ϵ$而定) blocks排列而成, 每个block具有以下性质:

• depth: 4n+1, width: n+4 的神经网络
• 在一个范围外其“函数值”为0
• 它能够存储样本信息
• 它会加总自身的信息和前面的逼近信息

定理2

定理3

定理4

定理1的证明

因为主要关注定理1, 所以讲下这个部分的证明(实际上是因为其它懒得看了).

假设$x=(x_1,x_2,\dots ,x_n)$为输入, $f$是$L^1$可积的, 对于任意的$ϵ>0$, 存在$N>0$满足
$${\int }_{{\cup }_{i=1}^n|x_i|\ge N}|f|\mathrm{d}x<\frac{ϵ}{2}.$$

定义下列符号:

则我们有:
$${\int }_{R^n}|f-(f_1-f_2)|\mathrm{d}x<\frac{ϵ}{2},$$

对于$i=1,2$, 既然$V_E^i$是可测的(且测度小于$+\infty$), 则我们能找到有限个$n+1$维的矩体去逼近(原文用了cover, 但是我感觉这里用互不相交的矩体才合理), 并有
$$m(V_E^i\Delta {\cup }_j{J}_{j,i})<\frac{ϵ}{8},$$
不出意外$\Delta$应该就是\.

假设$J_{j,i}$有$n_i$个, 且

每一个$J_{j,i}$对应一个指示函数:
$${\varphi }_{j,i}(x)=\{\begin{array}{ll}1& x\in X_{j,i}\\ 0& x\notin X_{j,i}.\end{array}$$
则

这个在实变函数将多重积分, 提到的下方图形集有讲到.
于是我们有($-f_1-f_2+f_1+f_2-f+f$然后拆开来就可以得到不等式)

现在我们要做的就是通过神经网络拟合${\phi }_{j,i}$去逼近${\varphi }_{j,i}$, 使得

现在来讲, 如果构造这个神经网络:

一个block有4n+1层, 每层的width是n+4, 注意到所有层的前n个Node都是一样的用来保存样本信息. 我们用$R_{i,j,{\mathcal{B}}_k},i=1,2,3,4,j=1,\dots ,n+4,k=1,\dots ,n,$ 表示第$k$个Unit(每个Unit有4层)的第$i$层的第$j$个Node.



注意: $R_{2,n+3,{\mathcal{B}}_1}$应该是$(x_1-a_1{)}^{+}/\delta$, 最开始的结构图中的对的. 我们来看一下, 什么样的$x=(x_1,\dots ,x_n)$, 会使得$L_1$不为0.

如果$x_1=a_1+\delta (b_1-a_1)+ϵ$, 这里$ϵ>0$是一个任意小量, 和上文中的$ϵ$没有关系. 此时(当$\delta <1/2$)
$$\frac{(x_1-b_1+\delta (b_1-a_1){)}^{+}}{\delta }=0,$$
当$\delta$足够小的时候
$$\frac{(x_1-a_1{)}^{+}}{\delta }=0，$$
此时$L_1=1$, 类似地, 可以证明, 当$\delta \to 0$的时候, $x_1\in (a_1+\delta (b_1-a_1),b_1-\delta (b_1-a_1))$时, $L_1=1$, 否则为0.

$R_{i,j,{\mathcal{B}}_k}$的定义是类似的, 只是
$$L_k=((L_{k-1}-(x_k-b_k+\delta (a_k-b_k){)}^{+}/\delta {)}^{+}-(1-(x_k-a_k{)}^{+}/\delta {)}^{+}{)}^{+},$$
可以证明, 当$\delta \to 0$, 且$x_t\in (a_t+\delta (b_t-a_t),b_t-\delta (b_t-a_t)),t=1,2,\dots ,k$的时候, $L_k=1.$, 这样我们就构造了一个指示函数, 如果这个这函数对应的$i$为1则将$L_n$存入n+1 Node, 否则 n+2 Node (实际上, 我感觉应该存的是$b_{n+1,j,i}{L}_n$), 则

这里$\mu$相当于$L_n$. 所以多个blocks串联起来后, 我们就得到了一个函数, 且这个函数是我们想要的.


这个直接通过超距体体积计算得来的, 我们只需要取:



最后
令$g:={\sum }_{i=1}^2{\sum }_{j=1}^{n_i}(-1{)}^{i+1}{b}_{n+1,j,i}{\mu }_{j,i}$，便有

此即定理1的证明.