激活函数 activate function

• 激活函数，决定神经网络是否传递信息的开关

  • ReLU，Recitified Linear Unit，线性整流函数，常见的是 ReLU 和 Leaky ReLU。通常意义下，线性整流函数指代数学中的斜坡函数
    $$f(x)=\max (0,x)$$
    ReLU 可以对抗梯度爆炸 / 消失的问题，相对而言计算效率也很高

  • GELU，Gaussian Error Linear Unit，高斯误差线性单元

    • 对于输入值 x，根据 x 的情况，乘上 1 或者 0，即对于每一个输入 x，服从标准正态分布 $N(0,1)$，再给其乘上一个伯努利分布 $\varphi (x)=P(X\le x)$ ：
      $$xP(X\le x)=x\varphi (x)$$
      其中 $\varphi (x)$ 是 $x$ 的高斯分布;
      $$xP(X\le x)=x{\int }_{-\infty }^x\frac{e^{-\frac{(X-\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi \sigma }}dX$$
      $\to$
      $$gelu(x)=0.5x(1+\tanh (\sqrt{\frac{2}{\pi }}(x+0.044715x^3)))$$

  • 当 $x$ 越大的时候，就越有可能被保留，越小就越有可能被置零

  • relu，$relu(x)=\max (x,0)$

  • sigmoid, $sigmoid(x)=\frac{1}{1+e^{-x}}$

  • tanh
    $$\begin{gathered} \sinh (x)=\frac{e^x-e^{-x}}{2} \\ \cosh (x)=\frac{e^x+e^{-x}}{2} \\ \tanh (x)=\sinh (x)\cosh (x) \end{gathered}$$

  • silu, $silu(x)=x\ast sigmoid(x)=\frac{x}{1+e^{-x}}$

  • gelu
    $$\begin{gathered} gelu(x)\approx 0.5x(1+\tanh (\sqrt{\frac{2}{\pi }}(x+0.044715x^3))) \\ \approx x\times sigmoid(1.702x) \end{gathered}$$

  • mish, $mish(x)=x\times \tanh (softplue(x))=x\times \tanh (\ln (a+e^x))$

  激活函数近似是往负无穷大方向走，逐渐趋近 $y=a$ 的直线；往正无穷大的方向走，逐渐趋近 $y=x$