激活函数-ReLU

1.介绍

ReLU(Recitified Linear Unit,ReLU),称为线性整流函数

2.常用的线性整流函数

• 斜坡函数 $f(x)=max(0,x)$
• Leaky ReLU
  $$f(x)=\begin{cases}x &&&if &x>0\\\lambda x &&&if &x<=0\end{cases}$$
  其中$\lambda$是一个可通过反向传播算法学习的变量
• Randomized Leaky ReLU,相比与普通带泄露线性整流函数，带泄露随机线性整流在负输出值段的函数梯度$\lambda$是一个取自连续性均匀分布$U(l,u)$概率模型的随机变量
  $$f(x)=\begin{cases}x&&& if&x>0\\ \lambda x &&&if &x<=0\end{cases}$$
  其中$\lambda ~U(l,u),l<u且，u\in[0,1)$
• Noisy ReLU:是修正线性单元在考虑高斯噪声的基础上进行改进的变中激活函数，对于神经元的输出入值$x$,噪声线性整流加上了一定程度的正态分布的不确定性
  $$f(x)=max(0,x+Y)$$
  其中,$Y~N(0,\sigma(x))$