Logistic Regression 使用不同library系数不一样？Sklearn vs. Statsmodel

Logistic Regression 使用不同library系数不一样？Sklearn vs. Statsmodel

I realize that for logistic regression, it has different coefficients generated by Sklearn LogisticRegression() and Statsmodel.

Why there’s the difference? Why there’s no difference between the two libraries when fitting a linear model?

(We use Statsmodel in our class. )

在比较sklearn的LogisticRegression和statsmodels的逻辑回归系数时，我们需要注意几个关键点：

1. 目标函数不同：sklearn的LogisticRegression默认使用L2正则化，而statsmodels则不包括正则化，除非你明确添加。正则化可以影响系数的大小和模型的复杂度。

2. 优化算法：sklearn的LogisticRegression使用的优化算法（如lbfgs、liblinear等）可能与statsmodels的算法不同，这可能导致系数估计的差异。

3. 数值优化的收敛标准：sklearn和statsmodels在数值优化过程中可能使用不同的收敛标准，这可能导致在迭代过程中停止的点不同，从而影响最终的系数估计。

4. 数据预处理：sklearn通常需要你手动对数据进行预处理（如标准化），而statsmodels则可能在内部进行某些预处理步骤。

5. 截距的处理：sklearn的LogisticRegression默认包含截距，而statsmodels的逻辑回归可以通过设置fit_intercept=False来排除截距。

6. 多分类处理：当处理多分类问题时，sklearn使用one-vs-rest（OvR）的方式，而statsmodels可能使用其他方法，如多项式逻辑回归。

7. 输出解释：statsmodels提供了更丰富的统计输出，包括系数的置信区间、z值、p值等，而sklearn则主要关注预测准确率和系数的大小。

对于线性回归模型，sklearn的LinearRegression和statsmodels的线性回归通常不会有太大差异，因为它们都是在没有正则化的情况下使用最小二乘法进行拟合，目标是最小化残差的平方和。这意味着在拟合线性模型时，两者的系数估计应该是一致的，前提是数据预处理方式相同。

总结来说，sklearn和statsmodels在逻辑回归系数上的差异主要是由于它们在正则化、优化算法、收敛标准和数据预处理方面的差异。而在线性回归中，由于方法和目标函数的一致性，它们通常会给出相似的结果。