【2】激活函数

1、激活函数

线性的表达能力太有限了，即使经过多层网络的叠加，y=wx+b无论叠加多少层最后仍然是线性的，增加网络的深度根本没有任何意义。线性回归连最简单的“异或”都无法拟合，所以需要对线性输出作非线性变换。因为线性模型的表达能力不够，激活函数的作用是用来增加非线性因素的，通过激活函数，神经网络可以拟合各种曲线。所以我们需要对线性输出做非线性变换，这个变换需要满足以下条件：1非线性，这样增加网络的深度才有意义。2可导，梯度下降。3易于计算。基于此，下面列出了几个常见的激活函数sigmoid、tanh、relu、leakrelu、softmax等激活函数。

1.1、sigmoid激活函数

计算公式和图像：

总结：sigmoid的函数在定义域内处处可导，且两侧导数逐渐趋近于0。如果x很大或者很小，则函数的梯度会非常小，网格参数很难得到有效训练，会出现梯度消失的情况。还有，该激活函数不是以0为中心的。sigmoid函数只用于输出层的二分类问题。

1.2、tanh激活函数

计算公式和图像：

总结： 与sigmoid函数相比，它是以0为中心，使得收敛的速度变快，减少迭代次数。然而，tanh两侧的导数也为0，会造成梯度消失的情况。可以使用归一化处理，使得数据在0附近的区间内。

1.3、relu激活函数

计算公式和图像：

总结：relu是目前常用的激活函数，relu能够在x>0时保持梯度不变从而解决梯度消失的问题，然而随着训练的推进，部分落入小于0区域，导致权重无法更新，这种现象称为“神经元死亡”。

1. 4、leakrelu激活函数

计算公式和图像：

 

1.5、softmax激活函数

计算公式和图像：

总结：softmax用于多分类问题，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。

1.6、如何选择激活函数

对于隐藏层：优先选择relu，如果效果不太好，选择leakrelu，不要使用sigmoid，可以尝试使用tanh激活函数。

对于输出层，如果是二分类问题选择sigmoid激活函数，如果是多分类问题选择softmax激活函数，回归问题输出层不需要激活函数。