线性回归之稳健回归

1、什么是线性回归？

线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
线性回归模型：

线性回归得出的模型不一定是一条直线，在只有一个变量的时候，模型是平面中的一条直线；有两个变量的时候，模型是空间中的一个平面；有更多变量时，模型将是更高维的。
线性回归中通常使用残差平方和，即点到直线的平行于y轴的距离而不用垂线距离，残差平方和除以样本量n就是均方误差。均方误差作为线性回归模型的代价函数(cost function)。使所有点到直线的距离之和最小，就是使均方误差最小化，这个方法叫做最小二乘法
代价函数：

2、什么是稳健回归？

稳健回归，顾名思义就是“稳健的”线性回归。它主要解决了一般线性回归受离群值（outliers）的问题，而这个问题主要体现在回归模型中使用的最小二乘法实现。

参考博文：
【机器学习】线性回归原理介绍
不只是线性回归（1）：稳健回归