二、逻辑回归LR面试题总结

高桥凉瓜

已于 2022-03-03 16:13:03 修改

阅读量1.3k

点赞数

分类专栏：机器学习面试题总结文章标签：逻辑回归机器学习人工智能

于 2022-02-21 21:16:07 首次发布

本文链接：https://blog.csdn.net/Anthony_hit/article/details/123051027

版权

机器学习面试题总结专栏收录该内容

7 篇文章 7 订阅

订阅专栏

1. 简单介绍一下逻辑回归？

逻辑回归主要用来解决分类问题，线性回归的结果 $Y$ 带入一个非线性变换的Sigmoid函数中，得到 $[0, 1]$ 之间取值范围的数 $S$ ， $S$ 可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么 $S$ 大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。

2. 逻辑回归的损失函数推导？

逻辑回归本质上是线性回归，即先把特征线性求和，然后带入Sigmoid函数中作为假设函数来进行预测。
在这里插入图片描述
逻辑回归用来分类0/1 问题，也就是预测结果属于0 或者1 的二值分类问题。这里假设了二值满足伯努利分布，也就是：

可以合并成：

似然函数为：

取对数并取反则得到负对数损失函数：
![在这里插入图片描述](https://img-blog.csdnimg.cn/a18a8d80d31f417b8e4aaffa0570f640.png

3. 可以进行多分类吗？

采用一对多的方法扩展到多分类：
每次将一个类型作为正例，其他的作为反例，训练 $N$ 个分类器。在预测阶段，每个分类器可以根据测试样本，得到当前正类的概率，选择概率最大的分类器，其正类就可以作为预测结果。
特点：效率较高，有多少个类别就训练多少个分类器，复杂度使O（n）。
但容易造成训练集样本数量的不平衡（Unbalance），尤其在类别较多的情况下，经常容易出现正类样本的数量远远不及负类样本的数量，这样就会造成分类器的偏向性。

一对一的方法：
将 $N$ 个类别两两配对，得到多个分类器（ $N (N - 1) / 2$ ），预测的时候，将样本通过所有分类器，通过投票来得到结果，最后票数最多的类别被认定为该样本的类

4. LR+离散特征原因？

提高计算速度。稀疏向量内积乘法运算速度快，计算结果方便存储
鲁棒性。减小异常数据的干扰。
稳定性。降低特征变化带来的影响。
方便交叉与特征组合。进一步引入非线性
简化模型。特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。

5. 逻辑回归常用的优化方法

一阶方法：
梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快，局部最优化问题时可以一定程度上抑制局部最优解的发生。
二阶方法：
牛顿法、拟牛顿法。

这里详细说一下牛顿法的基本原理和牛顿法的应用方式。牛顿法其实就是通过切线与x轴的交点不断更新切线的位置，直到达到曲线与x轴的交点得到方程解。在实际应用中我们因为常常要求解凸优化问题，也就是要求解函数一阶导数为0的位置，而牛顿法恰好可以给这种问题提供解决方法。实际应用中牛顿法首先选择一个点作为起始点，并进行一次二阶泰勒展开得到导数为0的点进行一个更新，直到达到要求，这时牛顿法也就成了二阶求解问题，比一阶方法更快。我们常常看到的x通常为一个多维向量，这也就引出了Hessian矩阵的概念（就是x的二阶导数矩阵）。
缺点：牛顿法是定长迭代，没有步长因子，所以不能保证函数值稳定的下降，严重时甚至会失败。还有就是牛顿法要求函数一定是二阶可导的。而且计算Hessian矩阵的逆复杂度很大。
拟牛顿法： 不用二阶偏导而是构造出Hessian矩阵的近似正定对称矩阵的方法称为拟牛顿法。拟牛顿法的思路就是用一个特别的表达形式来模拟Hessian矩阵或者是他的逆使得表达式满足拟牛顿条件。主要有DFP法（逼近Hession的逆）、BFGS（直接逼近Hession矩阵）、 L-BFGS（可以减少BFGS所需的存储空间）。

6. 逻辑回归的优缺点

优点：

易于理解，实现简单；
计算量小，计算速度快，存储资源低；
方便观测样本的概率。
缺点：
容易欠拟合，分类精度不高；
特征空间很大时表现效果不好；

7. RL与SVM有什么区别

线性回归做分类因为考虑了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；
LR和SVM克服了这个缺点，其中LR将所有数据采用sigmoid函数进行了非线性映射，削弱远离分类决策面的数据的作用；SVM直接去掉了远离分类决策面的数据，只考虑支持向量的影响；
LR是参数模型，SVM是非参数模型；
从目标函数来看，区别在于逻辑回归采用的是交叉熵损失函数，SVM采用的是hinge loss；
逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些；

答题不要贪多反而最主要的都没说清楚，主观题言之有理即可不用面面俱到。基础的问题一定要耐心背熟，有了框架线索，思路就会清晰，易于扩展。