机器学习------神经网络中sigmoid、tanh、relu激活函数

在神经网络中，我们会对所有的输入进行加权求和，之后我们会在对结果施加一个函数，这个函数就是我们所说的激活函数。如下图所示。

对于神经网络，一版我们会使用三种激活函数：Sigmoid函数、Tanh函数、ReLU函数。

1. sigmoid函数

sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点
优点：
<1> Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化
<2> Sigmoid求导比较容易，可以直接推导得出。
缺点：
<1> Sigmoid函数收敛比较缓慢
<2> 由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上sigmoid的导数可以看出当x趋于无穷大的时候，也会使导数趋于0）
<3> Sigmoid函数并不是以