1.激活函数汇总
Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU
2.不同激活函数的图像特征
(1)Identity图像
图像接近y=x,导数稳定可用于线性激活。
(2)Sigmoid图像
优点:便于求导,能将数据幅度控制在0到1之间,适合前向传播。
缺点:从图中可以看出,接近饱和时,容易出现梯度为0的现象。另外梯度更新单调,且幂运算较为耗时。
(3) TanH图像
优点:压缩了输出的幅度,且以0为中心,可以从图像看出输出均值为0。
缺点: 梯度消失问题,幂运算。
(4) Softmax图像
优点:指数形式可以方法差距,关于指数求导较方便,输出为归一化值,可用于表示概率行为。
缺点:幂运算较为复杂,且容易发生数值溢出,需要进行处理。
(5)Softsign图像
与tanh类似,但饱和速度更慢,比tanh效果更好。
(6)ReLU 图像
优点:ReLU的平滑化,避免了梯度消失,计算快,收敛快。
缺点:由于许多参数被搁置,导致无法更多的发挥模型的实际能力,即模型部分参数是意义不大的。
(7)Softplus图像
优点:ReLU的平滑化,避免了梯度消失,计算快,收敛快
缺点:与ReLU类似
(8)Leaky ReLU图像
与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率,保留了负值信息。
(9) Randomized ReLU图像
这里关于负值的处理是使用随机的均匀分布来保留负值信息。
(10)SELU图像
SELU将隐藏层的输出数据自动分为均值为0方差为1。
(11)GELU图像
GELU原文 后续会继续看这篇文章,这一节的笔记会再补充