逻辑回归知识点

1、逻辑回归的定义（小米面试题）：

• 广义线性回归分析模型，一般用来解决二分类问题（其多分类形式为softmax回归）

1、逻辑回归的损失函数

• 极大似然函数

2、逻辑回归为什么用极大似然估计？

• 极大似然估计就是利用已知的样本结果信息，发推最具有可能（最大概率）导致这些样本结果出现的模型参数值（模型已定，参数未知）。
• 损失函数一般有四种，平方损失函数、对数损失函数、HingeLoss0-1损失函数、绝对值损失函数。将极大似然函数取对数以后等同于对数损失函数。再逻辑回归这个模型中，对数损失函数的训练求解参数的速度是比较快的。因为参数更新的速度只与x,y有关，与sigmoid函数本身的梯度是无关的。
• 如果使用平方损失函数，那么参数更新和sigmoid函数本身的梯度是相关的。而sigmoid函数再它的定义域内的梯度都不大于0.25，这样训练会非常慢。

3、批梯度下降、小批量梯度下降、随机梯度下降

• 批梯度下降(Batch Gradient Descent)：每次更新参数需要用到所有的样本
• 小批量梯度下降(Mini-Batch Gradient Descent)：每次更新参数只用到一部分样本
• 随机梯度下降(Stochastic Gradient Descent)：每次更新参数只用到一个样本

4、参数估计的优化方法（待补充）

5、逻辑回归的优点

• 形式简单，模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响，某个特征的权重值比较高，那么这个特征最后对结果的影响会比较大。
• 模型效果还不错。在工程上是可以接受的（作为baseline），如果特征工程做的好，效果不会太差，并且特征工程可以并行开发，大大加快开发的速度。
• 训练速度较快。分类的时候，计算量仅仅只和特征的数目相关。并且逻辑回归的分布式优化sgd发展比较成熟，训练的速度可以通过堆机器进一步提高，这样我们可以在短时间内迭代好几个版本的模型。
• 资源占用小，尤其是内存。因为只需要存储各个维度的特征指。
• 方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果，因为输出的是每个样本的概率分数，我们可以很容易的对这些概率分数进行cutoff，也就是划分阈值（大于某个阈值的是一类，小于某个阈值的是一类）。

6、逻辑回归的不足

• 准确率并不是很高。因为形式非常的简单（非常类似线性模型），很难去拟合数据的真实分布。
• 很难处理数据不平衡的问题。比如当我们对于一个正负样本非常不平衡的问题，正负样本比为10000：1。我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器，它对正负样本的区分能力不会很好。
• 处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下，只能处理线性可分的数据，或者进一步说，处理二分类的问题。
• 逻辑回归本身无法筛选特征。有时候，我们会用GBDT来筛选特征，然后再上逻辑回归。

7、逻辑回归和线性回归的区别

• 逻辑回归是一种广义线性模型，它引入了sigmoid函数，是非线性模型。但其本质上还是一个线性回归模型，因为除去sigmoid函数映射关系，其他的算法原理，步骤都是线性回归的。
• 逻辑回归假设数据服从伯努利分布，线性回归假设数据服从高斯分布；
• 逻辑回归的损失函数是对数极大似然函数；线性回归是平方损失函数；
• 逻辑回归输出的是概率，用于分类；线性回归输出的是数值，用于预测。

8、逻辑回归为什么要做特征交叉（特征拟合）？

• 逻辑回归模型属于线性模型，线性模型不能很好地处理非线性特征，特征组合可以引入非线性特征，提升模型的表达能力。
• 基本特征可以认为是全局建模，组合特征更加精细，是个性化建模，但全局建模会对部分样本有偏。而对每一个样本建模又会导致数据爆炸，过拟合，所以基本特征+特征组合兼顾了全局和个性化。

9、什么是特征的离散化和特征交叉？逻辑回归为什么要对特征进行离散化？

• 实际工作中很少直接将连续型变量带入逻辑回归模型中，而是将特征离散化后再加入模型，例如评分卡的分箱和woe转化。
• 优势：
  1）特征离散化后，起到了简化模型的作用，使模型变得更加稳定，降低了模型过拟合的风险。
  2）离散化之后的特征对异常数据有很强的鲁棒性。
  3）离散特征的增加和减少都很容易，且稀疏向量的内积乘法运算速度快，易于模型的快速迭代。
  4）逻辑回归属于广义线性模型，表达能力有限，特征离散化之后，每个离散变量都有单独的权重，相当于给模型引入了非线性，能够提高模型的表达能力。
  5）离散化后的特征可以进行特征交叉，进一步引入非线性，提高模型的表达能力。

参考博文：
1、逻辑回归常见面试题总结
2、逻辑回归常见面试问题