python能做回归吗_[python]稳健回归（Robustness regression）

### 最小二乘法的弊端

之前文章里的关于线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点(outliers)，这些异常点对回归模型的影响会非常的大，传统的基于最小二乘的回归方法将不适用。

比如下图中所示，数据中存在一个异常点，如果不剔除改点，适用OLS方法来做回归的话，那么就会得到途中红色的那条线；如果将这个异常点剔除掉的话，那么就可以得到图中蓝色的那条线。显然，蓝色的线比红色的线对数据有更强的解释性，这就是OLS在做回归分析时候的弊端。


当然，可以考虑在做回归分析之前，对数据做预处理，剔除掉那些异常点。但是，在实际的数据中，存在两个问题：

异常点并不能很好的确定，并没有一个很好的标准用于确定哪些点是异常点

即便确定了异常点，但这些被确定为异常的点，真的是错误的数据吗？很有可能这看似异常的点，就是原始模型的数据，如果是这样的话，那么这些异常的点就会带有大量的原始模型的信息，剔除之后就会丢失大量的信息。

再比如下面这幅图，其中红色的都是异常点，但是很难从数据中剔除出去。


### 稳健回归

稳健回归(Robust regression)，就是当最小二乘法遇到上述的，数据样本点存在异常点的时候，用于代替最小二乘法的一个算法。当然，稳健回归还可以用于异常点检测，或者是找出那些对模型影响最大的样本点。

##### Breakdown point

关于稳健回归，有一个名词需要做解释：Breakdown point，这个名词我并不想翻译，我也没找到一个很好的中文翻译。对于一个估计器而言，原始数据中混入了脏数据，那么，Breakdown point 指的就是在这个估计器给出错误的模型估计之前，脏数据最大的比例 α，Breakdown point 代表的是一个估计器对脏数据的最大容忍度。

举个简单的例子：有 n 个随机变量，(X1,X2,…,Xn)， 其对应的数据为(x1,x2,…,xn)，那么，我么可以求出这 n 个随机变量的均值：

X_bar =(X1 + X2 + ⋯ + Xn)  / n

这个均值估计器的Breakdown point 为0，因为使任意一个xi变成足够大的脏数据之后，上面估计出来的均值