数学模型漫谈

线性回归（Linear Regression）研究的是一个或多个变量与另一个连续型随机变量之间的相关关系的模型。线性回归在进行参数估计时实际上使用了最小二乘估计法。我们通常认为最小二乘法的发明者是高斯，实际上第一个将其发表的人是勒让德。

基于最小二乘估计法的线性回归叫作“BLUE”（Best Least Unbiased Estimator），虽然它有很多优点，但是也有一些类似极致敏感的缺点。

从机器学习的角度看，统计学家所说的“Estimator”其实解决的是损失函数的最优解问题。为了改进最小二乘估计法，很多科学家都做出了贡献，比如岭估计（Ridge Estimator）、LASSO（Least Absolute Shrinkage and Selection Operator）、弹性网（Elastic Net）等。然而，这些方法并不是总是最优，而是在某些特定应用场景下较优。

在实际应用中，人们很快发现我们分析的目标并不总是一个连续型变量，在更多情况下是二元结果，比如好人/坏人、下雨/不下雨，等等。这时，线性回归已经无法发挥作用了，我们用到的模型变成了逻辑回归（Logistic Regression）。

对于线性回归而言，它的公式一般是这样的：

y=ax+b+ε

这里的残差项（residual）是服从正态分布的。

线性回归输出的是一个连续的程度，但是在很多场景下，我们需要的是一个事件发生的概率：

P（y>0）或P（y≤0）

由于残差项是服从正态分布的，因此