神经网络中常用的激活函数主要有tanh、sigmoid、softmax、Relu等,在反向传播过程中的链式求导时,我们也需要对激活函数进行求导,在此整理常用的激活函数导数推导后的结果,方便在神经网络反向传播计算时使用。(注:无推导过程)
tanh函数
函数表达式为
求导后导数表达式为
sigmoid函数
函数表达式为
求导后导数表达式为
softmax函数
函数表达式为
求导后导数表达式为
ReLU函数
函数表达式为
求导后导数表达式为
以上为常用的四种激活函数的求导通式,可以方便大家在反向传播计算时使用。