深度学习的万能近似原理--从图像来形象的理解这一概念

所谓万能近似原理（niversal approximation theorem）
就是说不管一个模型多么的复杂和多变，只要通过足够多的层数和足够多的神经单元进行训练，就能近似的得到这个模型。要了解这个原理首先要从单个单元和单层单元入手。如下定义：
RD → R
x ?→ σ(w · x + b),
w ∈ RD , b ∈ R, and σ : R → R.
上面的公式是一个单元的完整参数和映射，接下来就是单元的示意图和组合多个单元的层图：

下面再给出一个多层感知机的模型，多层感知机可以说是深度学习的启蒙版本，当然深度学习的兴起也还要归功于卷积神经网络的运用和GPU大规模计算能力的运用。

——————前面提到的激活函数σ ，为什么要用非线性的呢？——————
答案：假如活函数σ 是线性的，那么一个单元就是一次仿射变换，那么多层感知机也将会是多个仿射变换的叠加，最终还是仿射变换，所以也就无法实现万能近似。（仿射变换就是y=a*x+b,x经过这样的变换成y，就叫做仿射变换，所以本质上就是一个线性的映射）

ψ ∈ ? ([a, b], R)
f(x) = σ(w1x +b1)+σ(w2x +b2)+σ(w3x +b3)+…