各种激活函数, 图像, 导数及其特点

sigmoid

$$f(z)=\frac{1}{1+e^{-z}}$$

其图像如下:

特点

• 能够将输入的连续实值变换为0到1之间的输出

缺点

• 在深度神经网络中梯度反向传播是容易造成梯度爆炸和梯度消失

sigmoid导数

$$f^{\prime }(z)=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z}{)}^2}$$

tanh

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

其图像如下:

特点

解决了sigmoid函数不是zero-centered的问题, 但是梯度消失依旧存在

导数

$$tan{h}^{\prime }(x)=1-tanh(x{)}^2=1-(\frac{e^x-e^{-x}}{e^x+e^{-x}}{)}^2$$

Relu

$$Relu(x)=max(0,x)$$

函数图像

导数

$$Rel{u}^{\prime }(x)=\{\begin{array}{ll}0& x\le 0\\ 1& x>0\end{array}$$

优点

• 解决了梯度消失问题
• 计算速度非常快
• 收敛速度远快于sigmoid和tanh

缺点

• 输出的不是zero-centered
• 有些神经元可能永远不会被激活(Dead ReLU)
  • 不好的参数初始化
  • 学习率过高, 导致网络不幸进入这种情况

Leaky Relu(PRelu)

$$f(x)=max(\alpha x,x)$$

函数图像$\alpha =0.01$

导数

$$f^{\prime }(x)=\{\begin{array}{ll}\alpha & x\le 0\\ 1& x>0\end{array}$$

特点

• 具有ReLU的所有优点
• 不会有Dead ReLU问题

ELU

$$f(x)=\{\begin{array}{ll}x& x>0\\ \alpha (e^x-1)& x\le 0\end{array}$$

函数图像$\alpha =1$

导数

$$f^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ f(x)+\alpha =\alpha e^x& x\le 0\end{array}$$

特点

• 类似于Leaky ReLU
• 计算量稍大
• 不会有Dead ReLU问题
• 均值接近于0

SELU

$$\begin{gathered} selu(x)=\lambda \{\begin{array}{ll}x& x>0\\ \alpha e^x-\alpha & x\le 0\end{array} \\ 其中\lambda =1.0507009873554804934193349852946 \\ \alpha =1.6732632423543772848170429916717 \end{gathered}$$

函数图像

导数

$$sel{u}^{\prime }(x)=\lambda \{\begin{array}{ll}1& x>0\\ \alpha e^x& \end{array}$$

特点

• 在ELU的基础上求解了最佳的$\alpha$ , 并且扩大了$\lambda$倍,
• SELU拥有ELU所有的优点
• 不存在死区

SoftMax

$$f(x_i)=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$$

简单地说, 就是当前元素的值就等与e的当前元素次方在所有元素的e的次方和的比例

导数

$$\begin{gathered} 当交叉熵作为损失函数时,LOSS=-\sum _i{t}_{i}ln{y}_i,其中,t_i表示真实值 \\ 当预测第i个时,可以认为t_i=1,那么LOSS=-\sum ln{y}_i \\ 因为softmax的和为1,那么\frac{e^{x^i}}{{\sum }_{j=1}^n{e}^{x_j}},对Loss求导后为-(1-\frac{{\sum }_{i\ne j}^n{e}^{x_i}}{{\sum }_j^n{e}^{x_j}})=y_i-1 \end{gathered}$$

也就是说, 只要求出$j_i$, 那么减一就是梯度.

特点

• Softmax会将整个超空间按照分类个数进行划分
• Softmax会比其他的激活函数更适合多分类问题最后的激活