深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU

深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU

激活函数可以分为两大类 ：
饱和激活函数： sigmoid、 tanh
非饱和激活函数: ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】

相对于饱和激活函数，使用“非饱和激活函数”的优势在于两点：
1.首先，“非饱和激活函数”能解决深度神经网络【层数非常多！！】的“梯度消失”问题，浅层网络【三五层那种】才用sigmoid 作为激活函数。
2.其次，它能加快收敛速度。

目录

1. sigmoid 函数 (以前最常用)

2. tanh (双曲正切函数 ;Hyperbolic tangent function)

3. relu （Rectified linear unit; 修正线性单元 ）

4. Leaky Relu (带泄漏单元的relu )

5. RReLU（随机ReLU）

1 sigmoid函数