神经网络中的激活函数

---

$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$效果严格地比 $sigmoid$函数好，因为该函数的对称中心在 $(0,0)$，具有将数据归一化为0均值的效果。当然，二分类的输出层的激活函数还是一般用 $sigmoid(z)$，因为 $sigmod$函数能将输出值映射到 $0\sim 1$之间（概率值）
$Relu(z)=max(0,z)$出现后，神经网络默认都用 $Relu$函数（rectified linear）来作为激活函数。此时一般默认 $z>0$
$leaky(z)=max(0.01z,z)$可以避免 $z<0$时斜率为零的情况 输出层有时也用线性激活函数（房价预测）

0. Linear Activate Function

https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6
也叫identity activate Function， 即对原始输出不做任何变换

1. Sigmoid activation function

图1.1 激活函数-sigmoid \begin{align*} a&=g(z) \\ &=\frac{1}{1+e^{-z}}\\ \tag{1-1} \end{align*} \begin{align*} g'(z)&=\frac{d}{dz}g(z)\\ &=\frac{e^{-z}}{1+e^{-z}}\\ &=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right)\\ &=g(z)\left(1-g(z)\right)\\ &=a(1-a)\\ \tag{1-2} \end{align*} ## 2. Tanh activation function 图2.1 激活函数-tanh

$$\begin{array}{rl}a& =g(z)\\ & =\frac{e^z-e^{-z}}{e^z+e^{-z}}\end{array}\text{\hspace{1em}(2-1)}$$

$$\begin{array}{rl}{g}^{\prime }(z)& =\frac{d}{dz}g(z)\\ & =\frac{e^{-z}}{1+e^{-z}}\\ & =\frac{{\left(e^z+e^{-z}\right)}^2-{\left(e^z-e^{-z}\right)}^2}{{\left(e^z+e^{-z}\right)}^2}\\ & =1-{\left(g(z)\right)}^2\\ & =1-a^2\end{array}\text{\hspace{1em}(2-2)}$$

3. ReLU and Leaky ReLU

图3.1 激活函数-ReLU

ReLU:
$$\begin{array}{rl}a& =g(z)\\ & =max(0,z)\end{array}\text{\hspace{1em}(3-1)}$$
$$\begin{array}{rl}{g}^{\prime }(z)& =\frac{d}{dz}g(z)\\ & =\{\begin{array}{r}0ifz<0\\ 1ifz\ge 0\end{array}\end{array}\text{\hspace{1em}(3-2)}$$
Leaky ReLU:

图3.2 激活函数-Leaky ReLU

$$\begin{array}{rl}a& =g(z)\\ & =max(0.01z,z)\end{array}\text{\hspace{1em}(3-3)}$$
$$\begin{array}{rl}{g}^{\prime }(z)& =\frac{d}{dz}g(z)\\ & =\{\begin{array}{r}0.01ifz<0\\ 1ifz\ge 0\end{array}\end{array}\text{\hspace{1em}(3-4)}$$

4.选择激活函数的准则

• 如果处理的问题是二分类问题，输出为0和1，那么输出层选择sigmoid函数，其他神经元选择ReLU(有时也可用tanh)，理论上Leaky ReLU比ReLU好，但是实践中差不多。