浅析神经网络为什么能够无限逼近任意连续函数？

下面通过一个分类例子一步一步的引出为什么神经网络能够无限逼近任意函数这个观点，并且给出直观感觉!我们首先有这个需求，需要将下面的数据点进行分类，将三角形与正方形正确的分开，如图所示：

其实上图就是一个解决一个异或问题。

下面我分别从线性模型，感知机以及神经网络逐步围绕这个例子来引出自己的观点。（以下的讲解都在二元函数下进行，便于可视化，高维空间类比）

1.线性模型

如上图所示，我们什么激活函数都不加，那么输出结点的公式表达为：y=w1x1+w2x2(注：这里的1,2均是下标，下文一样)。

我们希望得到通过训练数据学习出w1,w2，然后得到线性模型，能够解决异或问题。但是我们很容易看出，无论怎么学习，异或问题是一个非线性问题，并不能由一个线性方程能够正确的将三角形与正方形分隔开！就好像下图表达一样，无论你直线怎么动，都不能正确分离开：

2.感知机

感知机的定义非常简单，在上面线性模型中的激活函数变为下面的阶梯函数的时候，就是感知机模型。

那么感知机是否可以解决上面异或问题呢？很显然并没有改变它只是线性模型的本质，并不能解决非线性分类问题.因为感知机分类平面投影到二维空间的时候，与下图是一模一样的：

红线就代表投影方程&#x