逻辑回归中偏导数的推导详解

逻辑回归问题中的代价函数为:
     J = − 1 m ∑ i = 1 m [ y ( i ) l o g h θ ( x ( i ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] J=-\frac{1}{m}\sum\limits_{i=1}^{m}{[y^{(i)}logh_\mathbf{\theta}(\mathbf{x}^{(i)})+(1-y^{(i)})log(1-h_\mathbf{\theta}(\mathbf{x}^{(i)}))]} J=m1i=1m[y(i)loghθ(x(i))+(1y(i))log(1hθ(x(i)))],其中, h θ ( x ) = g ( θ T x ) ,   g ( z ) = 1 1 + e − z h_\theta(x)=g(\mathbf{\theta}^T\mathbf{x}),  g(z)=\frac{1}{1+e^{-z}} hθ(x)=g(θTx), g(z)=1+ez1
  其关于参数 θ \mathbf{\theta} θ的偏导数为:
     ∂ J ∂ θ = 1 m ∑ i = 1 m [ h θ ( x ( i ) ) − y ( i ) ] x ( i ) \frac{\partial{J}}{\partial{\mathbf{\theta}}}=\frac{1}{m}\sum\limits_{i=1}^{m}{[h_{\mathbf{\theta}}(\mathbf{x}^{(i)})-y^{(i)}]\mathbf{x}^{(i)}} θJ=m1i=1m[hθ(x(i))y(i)]x(i)
  下面介绍一下偏导数推导过程:
  偏导数推导的原理是链式法则,即:若有 y = f ( g ( x ) ) y=f(g(x)) y=f(g(x)),则有 ∂ y ∂ x = ∂ f ∂ g ⋅ ∂ g ∂ x \frac{\partial{y}}{\partial{x}}=\frac{\partial{f}}{\partial{g}}\cdot{\frac{\partial{g}}{\partial{x}}} xy=gfxg
  运用链式法则,有
     ∂ J ∂ θ = ∂ J ∂ h ∂ h ∂ g ∂ g ∂ θ \frac{\partial{J}}{\partial{\mathbf{\theta}}}=\frac{\partial{J}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{\mathbf{\theta}}} θJ=hJg

  • 14
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值