数学建模 | 关于多重逻辑回归你必须知道的20个知识点

Q1: 什么是多重逻辑回归?
A: 多重逻辑回归是逻辑回归的扩展,用于预测因变量有3个或更多个类别的分类问题。它使用softmax函数将多个二分类逻辑回归组合,以概率形式给出每个类别的预测结果。

Q2: 多重逻辑回归的假设是什么?
A: 多重逻辑回归的主要假设是:给定的自变量,每个类别的对数几率是线性函数,且各个类别的对数几率加和为1。

Q3: 什么是softmax函数?
A: softmax函数是多重逻辑回归用来计算各个类别概率的激活函数。它能将多元分类的线性回归输出转换为各个类别的概率,且这些概率加和为1。

Q4: 多重逻辑回归的损失函数是什么?
A: 多重逻辑回归常用的损失函数是交叉熵损失函数(Cross Entropy Loss)。它衡量实际类别与预测类别概率分布之间的差异。

Q5: 如何训练多重逻辑回归模型?
A: 使用极大似然估计法,通过迭代优化交叉熵损失函数,不断调整回归系数,使模型对训练数据的预测概率与实际类别概率分布最匹配。

Q6: 如何预测新数据的类别?
A: 对新数据使用模型计算各个类别的预测概率,取概率最大的类别作为新数据的预测类别。

Q7: 如何评估多重逻辑回归的效果?
A: 可以使用精度Accuracy,召回率Recall,F1-score,混淆矩阵等指标来评估多重逻辑回归模型的效果。

Q8: 多重逻辑回归是否可以用于回归预测?
A: 多重逻辑回归模型本身是分类模型,输出的是类别的概率。但可以对其选择概率最大的类别作为预测值,这样就间接进行了回归预测,但效果可能不如线性回归模型。

Q9: 多重逻辑回归中的特征应该如何选取?
A: 特征应该与因变量的类别有较强的相关性,同时各个特征之间尽量不要存在多重共线性。常用的特征筛选方法有相关系数法、卡方检验、互信息法等。

Q10: 如何解决多重逻辑回归中的类别不平衡问题?
A: 可以通过重采样的方法平衡各个类别的样本数量;在损失函数中加大少类样本的权重;使用Focal Loss等方法提高模型对少类样本的预测精度。

Q11: 多重逻辑回归如何选择分类阈值?
A: 可以根据模型对验证集的预测概率分布,选择每个类别的平均概率作为分类阈值。也可以计算每个阈值下的精度、召回率,选择综合指标最佳的阈值。

Q12: 多重逻辑回归是否可以用于二分类问题?
A: 可以,在二分类问题上,多重逻辑回归模型实际上退化为逻辑回归模型。只需要使用其中两个类别的预测概率,作为正类和负类的预测概率即可。

Q13: 什么情况下适合使用多重逻辑回归?
A: 当因变量有三个或更多个类别,且各个类别之间存在线性决定关系时,适合使用多重逻辑回归模型。如果类别之间关系更复杂,可以考虑使用其他分类算法如决策树、SVM等。

Q14: 怎样判断多重逻辑回归模型是否过拟合?
A: 可以根据模型在训练集和验证集上的精度来判断。如果训练精度远大于验证精度,说明模型过于拟合训练数据,出现过拟合。此时需采取正则化或提高样本数量的方法进行改善。

Q15: L1正则化和L2正则化在多重逻辑回归中的作用是什么?
A: L1和L2正则化都可以用于惩罚回归系数,以防止多重逻辑回归模型过拟合。L1正则化会使某些回归系数为0,实现特征选择的效果。L2正则化会减小回归系数的值,但不会使其为0。

Q16: 怎样进行多重逻辑回归的模型调参?
A: 主要通过调节正则化参数和迭代次数来调参。正则化参数控制模型的拟合程度,迭代次数控制模型的收敛速度。可以通过验证集的精度来评判不同参数下模型的效果,选择较佳参数。

Q17: 梯度下降算法在多重逻辑回归中的作用是什么?
A: 梯度下降算法是多重逻辑回归模型训练过程中用于迭代优化损失函数、更新回归系数的算法。它可以找到损失函数的局部最小值,以达到拟合模型的目的。

Q18: 多重逻辑回归的学习率应该如何设置?
A: 学习率设置过大会导致收敛过慢或不收敛,设置过小会导致收敛过慢。一般通过试错的方式,设置不同的学习率,看损失函数收敛的速度及精度,选择一个较佳的学习率。也可以使用随着迭代逐渐减小的学习率。

Q19: 怎样从多重逻辑回归模型中获取特征的重要性?
A: 可以根据模型训练后得出的回归系数的绝对值大小来判断特征的重要性。系数绝对值越大,表示该特征对分类结果的影响越大,特征重要性越高。

Q20: 多重逻辑回归的局限性是什么?
A: 多重逻辑回归模型假设类别之间的决定关系为线性关系,如果实际关系更复杂则模型性能受限。它也受特征间共线性的影响较大。当类别较少或数据量较小时,容易过拟合。分类精度也通常不及 trees 或 SVM 等方法。