多层神经网络的两个定理（如何用感知机解决线性不可分问题）

一、非线性函数

1.定理

定理1：如果层与层之间不加非线性函数，多层神经网络将会退化到一个神经元的感知器模型状态

2.证明 

以一个简单的二层神经网络为例：

 其中：

 输入输出的关系为：

 其中待求的参数：

 如果不加线性函数，列出输入输出关系：

 再看一看单个神经元（感知机）的输入输出关系：

 是不是有点像，我再弄得明显一点：

 现在。。一模一样了吧，哈哈

 所以就有了上面的定理

 二、带有阶跃函数的神经网络

1.定理

定理2：如果非线性函数采用阶跃函数，那么三层神经网络可以模拟任意非线性函数

2.问题举例：

以一个简单的二维二分类问题为例（一维的太过简单了。。。）

 假定：这个三角形的三条边的方程分别是

 注：假设朝向三角形内测为正，三角形外为负（如果不是就把系数取相反数）

 

 第二层权重全部设为1，偏置设为-2.5，作用是使得z1，z2，z3全为1时输出才为正（y=0.5），其他情况都为负。

函数：

 3.矩形情况

 4.非线性函数

问题：

 网络模型：

 两个权重都设置为1，偏置设置为-0.5

 思考题：

1.假设非线性函数有三个取值情况，例如特征空间中有两个三角形：

当x在第一个三角形内时，y=2；

当x在第二个三角形内时，y=1；

当x在两个三角形外时，y=-1;

请设计一个三层神经网络来模拟这个非线性函数：

解：

网络结构不变，解方程组：

k1+b=2

k2+b=1

b=-1

就能确定系数

2.

 这个问题从原理上看和三角形一样