深度学习常用非线性函数及其导数

01 Sigmoid

Sigmoid将输入映射到[0, 1]，梯度下降明显，至少减少75%
$f(x)=sigmoid(x)=\frac {1} {1 - e^{-x}}$
$f^{'}(x)=f(x)(1-f(x)))$

02 tahn

tahn将输入数据映射到[-1, 1]，梯度损失明显
$f(x)=tahn(x)= \frac {2} {1 + e^{-2x}} - 1$
$f^{'}(x)=1-f(x)^{2}$

03 ReLU

ReLU(Rectified linear unit):正向截断负值，损失大量特征；反向梯度没有损失
$f(x) = max(x, 0) = \left\{\begin{array}\\{ 0 \qquad for \qquad x < 0}\\{x \qquad for \qquad x \geq 0} \end{array}\right.$
$f^{'}(x) = \left\{\begin{array}\\{ 0 \qquad for \qquad x < 0}\\{1 \qquad for \qquad x \geq 0} \end{array}\right.$

04 Keaky ReLU

Leaky RuLU(Rectified linear unit):正向截断负值(保留更多参数，少量梯度方向传播)，损失大量特征(为什么还在用？因为特征足够多)；反向梯度少量损失；(为什么不变成y=x？不行，会成为纯线性)
$f(x) = \left\{\begin{array}\\{ 0.01x \quad for \qquad x < 0}\\{x \quad \quad for \qquad x \geq 0} \end{array}\right.$
$f^{'}(x) = \left\{\begin{array}\\{ 0.01 \quad for \qquad x < 0}\\{1 \quad \quad for \qquad x \geq 0} \end{array}\right.$