【机器学习】【逻辑回归】代价函数为什么用最大似然估计而不是最小二乘法？

版权声明：本文为博主原创文章，未经博主允许不得转载，转载请注明文章来源，联系方式：vipsummer@139.com https://blog.csdn.net/u012421852/article/details/79620810
为了搞清楚为什么，就要先搞清楚，逻辑回归的对数似然函数和最小二乘法函数分别是什么。

逻辑回归的对数似然函数公式

逻辑回归的最小二乘法的代价函数公式
可以证明逻辑回归的最小二乘法的代价函数不是关于分布参数θ的凸函数，求解过程中，会得到局部最优，不容易求解全局最优θ。逻辑回归的最小二乘法的代价函数如下所示：

答1：证明LR的对数似然函数是凸函数
关于逻辑回归的对数似然函数的基本概念和详细求解流程可以会看以前博客：对数似然函数

可以证明逻辑回归的对数似然函数是关于θ的凸函数，且有最大值。证明过程详细如下所示：

答2：由逻辑回归是一种分类算法决定
       因为逻辑回归不是一种回归，而是一种分类算法。而逻辑回归的假设函数是属于指数分布族，且逻辑回归的样本给予满足伯努利分布而进行训练的。最大似然估计的出发点就是使得当前样本发生的可能性最大化，反向支持逻辑回归样本满足伯努利分布。而最小二乘法只是让预测值和观测值更拟合，而最大似然估计是保证计算出的特征值发生的概率正确率最大化，最大似然更满足逻辑回归是一种分类器。

(end)
--------------------- 
作者：CV_ML_DP 
来源：CSDN 
原文：https://blog.csdn.net/u012421852/article/details/79620810 
版权声明：本文为博主原创文章，转载请附上博文链接！