深度学习学习笔记——激活函数

激活函数

sigmoid函数：缺点：1、导数在0到0.25之间，反向传播更新参数时容易发生梯度消失。2、非0均值，反向传播更新参数时容易陷入Z更新，收敛过慢。3、幂函数计算，速度过慢。
tanh函数：优点：0均值，收敛快于sigmoid函数。缺点：容易发生梯度消失和幂函数计算过慢。
relu函数：优点:1、正区间内导数趋于无穷大，避免梯度消失。2、收敛速度远快于sigmoid函数和tanh函数。3、不是幂数计算，运算速度快。
缺点：非0均值，收敛较慢。容易发生dead relu.
激活函数小实验：Dynamic_ReLU、Mish
reLu
leakyrelu
sigmoid
tanh
mish