sigmoid函数求导

回顾原由:在推荐系统中,排序阶段会用到逻辑回归,那自然要在温习下Sigmoid函数求导过程。


Sigmoid函数:f(x) = 1/(1+e^{-x})

在对Sigmoid函数求导,还需回顾4个求导知识点(只有一点数学公式,不用紧张,你一定可以看懂):    

1、为什么要对Sigmoid函数求导?其实就是求极值。

2、(x^n) 进行求导等于 nx^{n-1}

3、(e^x)进行求导等于e^x

4、复合函数求导:f(g(x))' = \frac{df}{dg} * \frac{dg}{dz} ,例如:1/(1+e^{-x}) = (1+e^{-x})^{-1},那么1+e^{-x}就是g(x)

Sigmoid求导过程:

f(x)’ = -(1+e^{-x})^{-2}*(-e^{-x})              …………………………(1)两个负号抵消

           =\frac{1+e^{-x}-1}{(1+e^{-x})^{2}}                                   …………………………(2)加1和减1

           =\frac{1}{1+e^{-x}}-(\frac{1}{1+e^{-x}} )^2                …………………………(3)

           其中\frac{1}{1+e^{-x}}可以整体替换下为t(x)

           = t(x)(1-t(x))                                       ……………………………(4)


遇到一个小问题:e^{-x}的求导犯过错,也是复合函数求导,正确求导结果:e^{-x}*(-x)'=-e^{-x}

思考一个问题:为什么要对Sigmoid函数进行求导呢?在这里有什么用呢?

附上一个英文解释的很精细的求导过程:
https://towardsdatascience.com/derivative-of-the-sigmoid-function-536880cf918e

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值