AI入门：激活函数

在讲解激活函数之前，我们先简单了解一下神经网络 (全连接层) 中前一层的数据经过什么处理，然后给下一层数据。
假如x是输入值，y是第一层的结果，z是第二层的结果。y与x的关系、z与y的关系就是简单的一元一次方程：
(1) y = a * x + b，a和b为常数
(2) z = c * y + d，c和d为常数
我们把这两个方程联合一下：z = c * (a * x + b) + d = (a * c) * x + (b * c + d)。
我们发现z也可以用x的一元一次方程表示，所以z和x也是线性关系。以此类推，无论多少层的神经网络，输入层输出层都是线性关系，也就是说可以用一层的网络表示。如果是这样的话，多层神经网络还有什么意义？不要着急，我们的激活函数就是用来解决这个问题的。

激活函数的作用：把原本线性的结果转化成非线性的。这样多层网络就不可能再用一层的网络表示了。有了激活函数之后，我们就有了“加深”神经网络层数的可能。更深的网络才有更强大的拟合能力。

常用的激活函数有：Sigmoid、tanh、relu、leaky_relu。我们一一介绍：
Sigmoid函数的表达式:

x的取值范围是所有实数，y的取值范围是(0, 1)。且当x = 0时，y = 0.5。

Sigmoid函数现在往往只是在整个神经网络最后一层为二分类时使用，其它时候基本不再使用。原因是该函数的计算量比较大，且容易导致梯度消失。梯度消失后，多层的神经网络基本上很难训练到期望的效果。

tanh函数是Sigmoid函数的改进版，图形的形状也很相似，它与Sigmoid函数存在一样的问题。tanh函数中，x的取值范围是所有实数，y的取值范围是(-1, 1)。且当x = 0时，y = 0。
tanh函数也很少用到。

ReLu函数是目前最常用的激活函数。它的特点是表达式简单，计算速度快，不会导致梯度消失。缺点是可能造成神经元大量死亡 (无论输入是什么输出都为0，且一旦死亡之后，就无法再复活)。

leaky_relu是ReLu函数的改进形式。针对ReLu函数容易造成神经元大量死亡的问题，leaky_relu对x <= 0的情况加以改进：

事实上，leaky_relu函数的效果并不比ReLu好。一般只有在ReLu函数效果不好的情况下才考虑使用leaky_relu。

小结：
这一节，我们通过数学推导发现如果没有激活函数会导致多层神经网络退化成单层的神经网络，由此引出了激活函数，并对激活函数的意义进行了说明。接下去我们介绍了4种激活函数，并对这4种激活函数的表达式、图像、缺点等进行介绍。