logit回归模型的参数估计过程_Logistic 回归模型的参数估计为什么不能采用最小二乘法？...

统计狗来总结一下前面各个楼主的回答，先甩答案：

logistic回归模型的参数估计问题，是可以用最小二乘方法的思想进行求解的，但和经典的(或者说用在经典线性回归的参数估计问题)最小二乘法不同，是用的是“迭代重加权最小二乘法”(IRLS, Iteratively Reweighted Least Squares)。本质上不能使用经典的最小二乘法的原因在于，logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”。

下面是对经典线性回归问题和logistic回归问题的一些讨论。

(1)最小二乘/最小二乘法、最小二乘估计和极大似然估计的区别

最小二乘/最小二乘法可以看成是一种朴素的思想，即如果某种差异可以量化为实数，那么我们就可以(自然地)把这些差异的平方相加，将这个和作为一种目标函数。我记得我们高代有节课专门讲过“二乘”的矩阵形式，以及相关的“最小”这一优化目标的矩阵运算等等。

最二乘估计是指用最小二乘法对统计模型中的参数进行估计的估计方法。除了最小二乘估计，还有常用的极大似然估计、矩估计等参数估计的方法。对经典线性回归模型的参数估计来说，最小二乘估计和极大似然估计的结果是等价的，换句话说，对于其他模型，这种等价性就可能不成立。对于logistic回归模型来说，极大似然估计是没有解析解(closed form solution)的。

最小二乘估计和极大似然估计的不同在于优化的目标函数不同。最小二乘估计因为是用的最小二乘法，目标函数就是前面提到的那种“自然地”对“误差”或者“残差”的处理方式(这里“误差”和“残差”之所以加引号，是因为我们为了理解方便赋予了操作对象“某种差异”实际的意义)；极大似然估计的目标函数是似然函数。可见，前者的目标函数依赖于我们对“误差”的选取，而后者依赖于数据的具体概率分布。最小二乘估计有很多良好的性质，这些性质是不依赖于具体概率分布的，仅需要满足Gauss-Markov假设即可。

(2)经典线性回归模型和logistic回归模型的区别

经典线性回归模型常用的形式是

(*)，

其中