为什么必须在神经网络种引入非线性

如果神经网络中没有引入非线性层，那么神经网络就变成了线性层的堆叠。
而多层线性网络的堆叠本质上还是一个线性层，我们以两层线性网络的堆叠为例：
我们用 𝑓(𝑥)表示第一层线性网络，𝑔(𝑥)表示第二层线性网络，则两层网络的堆叠表示为：

我们令：

那么原来的表达式就变为：

所以ℎ(𝑥) 还是一个线性函数。
而我们知道线性函数的表现力是有限的，它只能表示特征与目标值之间比较简单的关系，相反带有非线性层的神经网络被证明可以表示任何函数。
所以为了使得网络设计发挥作用，并且提高网络的表现力，必须要在神经网络中引入非线性。