sigmoid与tanh的导数

1. sigmoid

函数:f(z) = 1 / (1 + exp( − z))

导数:f(z)' = f(z)(1 − f(z))

2.tanh

函数:f(z) = tanh(z)

导数:f(z)' = 1 − (f(z))2

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sigmoid函数tanh函数和ReLU函数是深度学习中常用的激活函数,它们各自有自己的优缺点。 1. Sigmoid函数 Sigmoid函数的公式为:$f(x) = \frac{1}{1 + e^{-x}}$。Sigmoid函数的输出值在0到1之间,适用于二分类任务。 优点: - 输出值在0到1之间,可以被解释为概率,适用于二分类任务。 - 可以通过梯度下降等优化算法进行训练。 缺点: - Sigmoid函数导数在0附近的梯度很小,容易出现梯度消失问题。 - Sigmoid函数的计算比较复杂,容易导致计算量过大。 - Sigmoid函数的输出不是以0为中心的,容易导致梯度方向不稳定。 2. tanh函数 tanh函数的公式为:$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$。tanh函数的输出值在-1到1之间,适用于多分类任务。 优点: - tanh函数的输出值在-1到1之间,可以被解释为概率,适用于多分类任务。 - tanh函数导数在0附近的梯度比Sigmoid函数大,相对不容易出现梯度消失问题。 缺点: - tanh函数的计算也比较复杂,容易导致计算量过大。 - tanh函数的输出不是以0为中心的,容易导致梯度方向不稳定。 3. ReLU函数 ReLU函数的公式为:$f(x) = max(0, x)$。ReLU函数的输出值在0到正无穷之间,适用于解决梯度消失问题。 优点: - ReLU函数的计算速度比较快,适用于大规模数据处理。 - ReLU函数导数在正数部分为1,容易计算。 - ReLU函数的输出是以0为中心的,相比Sigmoidtanh函数,不容易出现梯度方向不稳定问题。 缺点: - ReLU函数导数在负数部分为0,容易出现神经元死亡问题。 - ReLU函数的输出在负数部分为0,不适用于处理负值数据。 - ReLU函数在处理负数部分的输出总是为0,对于一些应用场景可能不太适用。 综上所述,不同的激活函数在不同的应用场景下有不同的优缺点,需要根据具体的任务来选择合适的激活函数

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值