机器学习入门——常用激活函数(Activation Function)表格形式总结

图片摘自高扬，卫峥所著的《白话深度学习与TensorFlow》

---

激活函数(activation function)——也有翻译成激励函数，变换函数的，是神经元中重要的组成部分，如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

神经元的各种数学模型的主要区别在于采用了不同的激活函数，从而使神经元具有不同的信息处理特性，例如Sigmoid函数（又称Logistic函数）经常作为我们学习机器学习接触到的第一个激活函数，是因为他的数学形式在微积分中比较容易处理，Tanh函数常用于循环神经网路RNN，ReLU(rectified linear units)函数常用于大部分的卷积神经网络CNN,等等。