最小二乘法及C++实现

最小二乘法--使得观测值与理论值得偏差平方和最小。

以一元线性回归说明：

假设从总体中获取了n组观察值（x1,y1）,（x2,y2）......（xn,yn）。则对于这n个点，选择最佳拟合曲线的标准为：使得总的残差最小。

则有三个标准：

（1）使用“残差和最小”。缺点：残差和存在相互抵消的问题；

（2）使用“残差绝对值和最小”。缺点：计算麻烦；

（3）使用“残差平方和最小”（最小二乘）。缺点：对异常值敏感

最小二乘求解过程：

推广至多元线性回归类似

方程组求解考虑矩阵运算