深度学习神经网络激活函数的优点

一、为什么使用激活函数？

如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。而激活函数 引入了非线性，不再是输入的线性组合，可以逼近任意函数。