最小二乘法

最小二乘法为一种优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配，使结果接近最优解，找出最能反映x,y之间关系规律的直线(函数)。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法求解的核心为：

1. 列出误差方程
2. 求最小化误差方程

误差方程：用目标函数减去拟合函数，再取其平方即可。用平方和寻找最短距离。相比于绝对值的方法，平方和的方法可以得到更短的距离，使得拟合函数更接近于目标函数。其实就是从范数的角度考虑这个问题，绝对值对应的是1范数，最小二乘对应的就是2范数。

范数：常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
向量范数：

• 1范数： ，向量元素绝对值之和。
• 2范数：