逻辑回归QA

为什么不能直接用线性回归做分类？

1.从线性回归的假设方面来说
线性回归模型是基于输出的结果Y是连续的、除去协变量X1,…,Xp带来的均值系统方差后，误差服从正态分布这一假设上的。如果输出变量是二元的，明显违反了这一假设，由此一般认为这样的结论是无效的。

实际上就算是二元的，结果也不会特别坏。虽然如果结果是二元的，条件正态的假设不再成立，但是如果假定形式里的结果的期待值是正确地基于协变量的，比如E(Y|X1,…,Xp)是正确的，线性回归的参数估计是无偏的。但是我们基于结果正态的假设而计算出的标准误（standard errors）和置信区间会因此无效。

2.条件方差不能保持不变
二元数据的方差是均值的函数，尤其是当均值变化时，方差也随之变化。这违反了标准线性回归的假设：残差的方差是不变的。

3.预测值可能会超出范围
二元结果结果的均值等同于出现‘1’的概率。如果我们使用线性回归来对二元结果建模，有很大的几率我们得到的拟合回归将会对个别值给出超出(0,1)范围的结果。

4.一致性连接可能会出错
当结果是二元时如果出现拟合值超出(0,1)范围的情况，实际上是一个征兆，预示着对线性回归的“结果是协变量影响的附加线性组合”的假设不再正确，尤其是当我们只有一个连续的协变量时。这意味着对E(Y|X1,…,Xp) 是如何基于协变量的已建立模型不再正确。这一点的表现是模型预测的自我校准能力很弱，比如在不同的协变量值的组合中对1的预测概率会过高或过低。 相反的是，在逻辑回归中使用的效用函数中，任何线性预测值会被转换为有效的(0,1)的预测概率。虽然在效用规模(logit scale)上并不是所有协变量效用都是线性的，但是使用效用函数的得到的结果明显比单单用“均值是协变量与它们各自的系数相乘的线性组合”这样的假设更有说服力。

总的来说，虽然会有用线性回归对二元结果建模并且结果不是特别差的情况，但一般来说这不是一个好的办法。本质上这是在用错误的工具进行作业。

多重共线性变量会给逻辑回归带来什么问题？为什么？怎么处理？

问题：
完全共线性下参数估计量不存在
近似共线性下OLS估计量非有效
　　多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(Variance Inflation Factor, VIF)
参数估计量经济含义不合理
变量的显著性检验失去意义，可能将重要的解释变量排除在模型之外
模型的预测功能失效。变大的方差容易使区间预测的“区间”变大，使预测失去意义。
原因：
解释变量都享有共同的时间趋势；
一个解释变量是另一个的滞后，二者往往遵循一个趋势；
由于数据收集的基础不够宽，某些解释变量可能会一起变动；
某些解释变量间存在某种近似的线性关系；
处理：
1、增加数据；
2、对模型施加某些约束条件；
3、删除一个或几个共线变量；
4、将模型适当变形；
5、主成分回归

l1与l2正则化会给模型带来什么影响，为什么？

L1正则化可以使得参数稀疏化，即得到的参数是一个稀疏矩阵，可以用于特征选择。

加入L1范数得到的解，一定是某个菱形和某条原函数等高线的切点。我们经过观察可以看到，几乎对于很多原函数等高曲线，和某个菱形相交的
时候及其容易相交在坐标轴（比如上图），也就是说最终的结果，解的
某些维度及其容易是0，比如上图最终解是
，这也就
是我们所说的L1更容易得到稀疏解（解向量中0比较多）的原因。

L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合。

求的L2范数的从图上来看，不容易交在坐标轴上，但是仍然比较靠近坐标轴。因此这也就是我们老说的，L2范数能让解比较小（靠近0），但是比较平滑（不等于0）。

逻辑回归本身只具备线性的表达能力，如何让模型学会非线性关系？

特征离散化
特征交叉
引入高阶项
引入核函数