【机器学习】【逻辑回归】代价函数为什么用最大似然估计而不是最小二乘法?

为了搞清楚为什么,就要先搞清楚,逻辑回归的对数似然函数和最小二乘法函数分别是什么。

逻辑回归的对数似然函数公式


逻辑回归的最小二乘法的代价函数公式

可以证明逻辑回归的最小二乘法的代价函数不是关于分布参数θ的凸函数,求解过程中,会得到局部最优,不容易求解全局最优θ。逻辑回归的最小二乘法的代价函数如下所示:


答1:证明LR的对数似然函数是凸函数

关于逻辑回归的对数似然函数的基本概念和详细求解流程可以会看以前博客:对数似然函数

可以证明逻辑回归的对数似然函数是关于θ的凸函数,且有最大值。证明过程详细如下所示:


答2:由逻辑回归是一种分类算法决定

       因为逻辑回归不是一种回归,而是一种分类算法。而逻辑回归的假设函数是属于指数分布族,且逻辑回归的样本给予满足伯努利分布而进行训练的。最大似然估计的出发点就是使得当前样本发生的可能性最大化,反向支持逻辑回归样本满足伯努利分布。而最小二乘法只是让预测值和观测值更拟合,而最大似然估计是保证计算出的特征值发生的概率正确率最大化,最大似然更满足逻辑回归是一种分类器。

(end)

评论 3 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

CV_ML_DP

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值