损失函数:逻辑回归损失函数 推导简记

这里只推导逻辑回归的损失公式。

假设函数

hθ(x)=11+eθTx(假设函数) h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}} \tag{假设函数}

用于二分类

KaTeX parse error: Undefined control sequence: \mbox at position 41: …\theta( x), & \̲m̲b̲o̲x̲{if }y=1 \\ (1-…

总结:如果我们取对数和负值,可以代表对应的成本函数。和似然函数相反的方向。(log只是利于计算)。
KaTeX parse error: Undefined control sequence: \mbox at position 56: …theta( x)), & \̲m̲b̲o̲x̲{if }y=1 \\ -lo…

统一公式

我们找到联合概率公式:
p(yx,θ)=hθ(x)y(1hθ(x))1y,(统一概率) p(y|x,\theta) = h_\theta( x)^{y} \cdot (1-h_\theta(x))^{1-y}, \tag{统一概率}

最大似然

最大似然就是最大化的所有样本的概率公式:
L(θ)=i=1mp(yixi,θ)(最大似然) L(\theta) = \prod_{i=1}^{m}p(y_i|x_i,\theta)\tag{最大似然}

对数-最大似然

对数最大似然就是最大化的所有样本的概率公式:
L(θ)=i=1mlogp(yixi,θ)=i=1m[yilog(hθ(xi))+(1yi)log(1hθ(xi))] L(\theta) = \sum_{i=1}^{m}log p(y_i|x_i,\theta)= \sum_{i=1}^{m}[ {y_i} log(h_\theta( x_i))+{(1-y_i)}log(1-h_\theta( x_i))]

我们的目标是最大化似然函数。 如果转化为损失函数,那就是最小化。

损失函数J(loss function)

J=1mL(θ)=1mi=1m[yiloghθ(xi)+(1yi)log(1hθ(xi))] J = -\frac{1}{m} L(\theta) \\ = -\frac{1}{m}\sum_{i=1}^{m}[{y_i} log h_\theta( x_i)+{(1-y_i)}log(1-h_\theta( x_i))]

##参数迭代公式
θj:=θjαi=1m(h(x(i)y(i))(xj(i)) \theta_j:=\theta_j - \alpha*\sum_{i=1}^{m} (h(x^{(i)}-y^{(i)})(x_j^{(i)})

解释:

  1. 参数第j个分量的更新,和每个样例都有关系。
  2. 如果m取全部,则是用所有数据来更新分量j
  3. m=1则是用一个实例来更新参数,也就是随机梯度下降。
  4. 更新的量,与速率、当前实例的j分量、误差值(假设-当前)共同决定。

总结

一般的学习模型的三个重要步骤:

  1. 寻找h函数(即预测函数);比如逻辑回归的 f(w,b);线性之后多了一个激活。
  2. 构造J函数(损失函数);不同的损失函数,代表了不同的优化方向。比如:逻辑回归如果用最小方差来作为评价函数,则容易导致局部最优。
  3. 想办法使得J函数最小并求得回归参数(θ);各种数值优化方法,随机梯度下降;牛顿法等。
    简称:找目标、定方向、执行解决。

参考

https://blog.csdn.net/iterate7/article/details/76709492

©️2020 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值