深度学习（1）：激活函数笔记

1.激活函数汇总

Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU

2.不同激活函数的图像特征 

（1）Identity图像

图像接近y=x，导数稳定可用于线性激活。

（2）Sigmoid图像

优点：便于求导，能将数据幅度控制在0到1之间，适合前向传播。

缺点：从图中可以看出，接近饱和时，容易出现梯度为0的现象。另外梯度更新单调，且幂运算较为耗时。

（3） TanH图像

优点：压缩了输出的幅度，且以0为中心，可以从图像看出输出均值为0。

缺点： 梯度消失问题，幂运算。

（4） Softmax图像

 优点：指数形式可以方法差距，关于指数求导较方便，输出为归一化值，可用于表示概率行为。

 缺点：幂运算较为复杂，且容易发生数值溢出，需要进行处理。

（5）Softsign图像 

与tanh类似，但饱和速度更慢，比tanh效果更好。

（6）ReLU 图像

优点：ReLU的平滑化，避免了梯度消失，计算快，收敛快。

缺点：由于许多参数被搁置，导致无法更多的发挥模型的实际能力，即模型部分参数是意义不大的。

（7）Softplus图像

优点：ReLU的平滑化，避免了梯度消失，计算快，收敛快

缺点：与ReLU类似

（8）Leaky ReLU图像 

与 ReLu 相比 ，leak 给所有负值赋予一个非零斜率，保留了负值信息。

（9） Randomized ReLU图像

这里关于负值的处理是使用随机的均匀分布来保留负值信息。

（10）SELU图像

SELU原文

SELU将隐藏层的输出数据自动分为均值为0方差为1。

（11）GELU图像

 GELU原文 后续会继续看这篇文章，这一节的笔记会再补充