深度学习 - 激活函数(activation function)

线性模型在处理非线性问题时往往手足无措，这时我们需要引入激活函数来解决线性不可分问题。激活函数（Activation function），又名激励函数，往往存在于神经网络的输入层和输出层之间，作用是给神经网络中增加一些非线性因素，使得神经网络能够解决更加复杂的问题，同时也增强了神经网络的表达能力和学习能力。

常用的激活函数有Sigmoid函数、双曲正切激活函数（tanh）、修正线性单元（ReLU）等。接下来我们将一一学习。