为什么引入非线性激励函数

1、激励函数作用

激励函数的作用是能够给神经网络加入一些非线性因素，使得神经网络能够更好的解决较为复杂的问题。

2、激励函数非线性作用

神经网络中，每一个神经元就是一个函数，都是非线性的，加入激活函数可以让其变为非线性；
真实世界中基本上所有事件都是非线性的，加入非线性激励函数，可以更好的逼近任何函数；

3、线性激励函数效果

如果激励函数是线性的，则在网络传播过程在，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型。

4、总结

神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，我们会发现常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。