数学建模 | 关于逻辑回归你必须知道的20个知识点

1. 逻辑回归模型是什么类型的统计模型?
逻辑回归模型属于广义线性模型,是一种二分类的统计学习方法。

2. 逻辑回归模型的公式是什么?
逻辑回归模型的公式为:log(p/(1-p)) = β0+β1x1+β2x2+...+βnxn

3. 逻辑回归模型中的logit函数是什么?
logit函数即对数几率函数log(p/(1-p)),它可以将响应变量的概率值压缩到(-∞,∞)之间。

4. 逻辑回归模型是如何进行参数估计的? 
逻辑回归模型使用最大似然估计法对参数进行估计。求出使得观察数据的对数似然函数达到最大值的β参数值。

5. 逻辑回归模型的最大似然函数是什么?
逻辑回归模型的最大似然函数为:L(β) = ∏[pi^(yi)*(1-pi)^(1-yi)]

6. 逻辑回归模型如何求出最大似然估计?
使用梯度上升算法或牛顿法迭代求出最大似然函数的最优解,即最大似然估计。

7. 逻辑回归模型中的odds ratio是什么?
odds ratio是比值比,用于衡量自变量的影响程度。它是指数β的指数函数exp(β),表示自变量每变化1个单位,响应变量发生的几率比会变化exp(β)倍。

8. 怎样判断逻辑回归模型中的自变量是否显著?
可以观察自变量对应的p值,如果p值小于0.05,则自变量的影响显著。也可以观察自变量对应的z统计量,绝对值大于1.96则影响显著。

9. 怎样判断逻辑回归模型的整体拟合优度?
可以使用-2Log Likelihood、Cox & Snell R square和Nagelkerke R square等指标判断整体拟合优度。这些指标值越小或越接近1,拟合效果越好。

10. 怎样绘制和解释逻辑回归模型的ROC曲线?
ROC曲线是通过计算不同分类阈值下的真阳性率和假阳性率并画成曲线来判断模型分类能力的指标。ROC曲线下面的AUC值越大,模型分类效果越好。

11. 怎样进行逻辑回归模型的预测分析? 
将新输入的数据代入逻辑回归模型,计算log odds,然后取值大于0时的概率作为正类的预测概率。概率大于某个分类阈值时,预测为正类,否则为负类。

12. 怎样评价逻辑回归模型的预测效果?
可以使用混淆矩阵来评价预测效果。主要指标有准确率、精确率、召回率、F1 score等。也可以使用ROC曲线下的AUC值。这些指标值越大,预测效果越好。

13. 怎样处理逻辑回归模型中的多重共线性问题? 
可以像线性回归一样,删除某个自变量、增加样本量、使用岭回归法或主成分分析法等方法处理多重共线性问题。

14. 怎样判断逻辑回归模型中是否存在多重共线性问题?
也是像线性回归一样,通过计算自变量之间的相关系数和方差膨胀因子来判断是否存在多重共线性问题。

15. 逻辑回归模型和线性回归模型的主要区别是什么?
逻辑回归模型是分类模型,线性回归模型是回归模型。逻辑回归模型的响应变量是离散型的,线性回归模型的响应变量是连续型的。逻辑回归模型使用最大似然法估计,线性回归模型使用最小二乘法估计。

16. 逻辑回归分析的假设条件有哪些?
主要假设条件有:线性关系假设、大样本假设、不存在完全分离的现象、自变量之间不存在完全相关或高度相关等。

17. 逻辑回归模型适合的应用场景有哪些?
逻辑回归模型主要适用于医疗诊断、信用评分、互联网推荐系统等二分类场景。

18. 你认为逻辑回归模型的优点是什么? 
优点:模型形式简单,计算效率高,易于理解和实现;可以评估各自变量的影响程度和显著性;预测概率值在0-1之间,易于理解。

19. 你认为逻辑回归模型的局限性在哪里? 
局限性:只能用于二分类问题;受样本量和特征数量的限制,不适合高维度数据;对异常值和共线性敏感;预测概率不一定精确。

20. 如果响应变量有3个类别,该如何建立逻辑回归模型?
可以建立两对多类别逻辑回归模型。第一对模型预测第一二类与第三类的概率。第二对模型预测第二类与第三类的概率。然后将两个模型的预测概率相加,归一化为1,作为三类的预测概率。这种方法可以扩展到更多类别的情况。