线性回归, 逻辑回归与神经网络公式相似点

线性回归, 逻辑回归与神经网络公式相似点

  • 线性回归与逻辑回归
    • 线性回归的损失函数
      \[ J(\theta)={1\over{2m}}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 \]
    • 逻辑回归的损失函数
    • \[ J(\theta)={-1\over{m}}[\sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]
    • 线性回归的损失函数的梯度
      \[ {\partial\over{\partial\theta_j}}J(\theta)=\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j \]
    • 逻辑回归的损失函数的梯度
      \[ {\partial\over{\partial\theta_j}}J(\theta)=\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j \]
  • 逻辑回归与神经网络
    • 逻辑回归的损失函数
      \[ J(\theta)={-1\over{m}}[\sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]
    • 神经网络的损失函数
      \[ J(\Theta) = {1\over{m}}\sum_{i=1}^{m}\sum_{k=1}^{K} y_k^{(i)}log(h_\Theta(y_k^{(i)})) + (1 - y_k^{(i)})log(1 - h_\Theta(y_k^{(i)})) + {\lambda\over{2m}}\sum_{l}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}\Theta_{ji}^{l} \]

转载于:https://www.cnblogs.com/megachen/p/10466781.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值