最小二乘法原理理解

概念:最小二乘法是一种熟悉而优化的方法。主要是通过最小化误差的平方以及最合适数据的匹配函数。
作用：（1）利用最小二乘法可以得到位置数据（这些数据与实际数据之间误差平方和最小）（2）也可以用来曲线拟合

实例讲解：有一组数据（1，6），（3，5），（5，7），（6，12），要找出一条与这几个点最为匹配的直线 ： y = A + Bx

有如下方程：

6 = A + B

5 = A + 3B

7 = A + 5B

12 = A + 6B

很明显上面方程是超定线性方程组，要使左边和右边尽可能相等；采用最小二乘法：

L(A,B)=[6-(A + B)]^2 + [5-(A + 3B)]^2 + [7-(A + 5B)]^2 +[12-(A + 6B)]^2使得L的值最小：这里L是关于A,B的函数；那么我们可以利用对A，B求偏导，进而求出A，B的值使得Lmin





B = -0.064 A = 8.832

y = 8.832 - 0.064*x:也就是说这条直线是最佳的。求得最适合数学模型，然后可以更加准确预测数据。

将一个可能的、对不相关变量A的构成都无困难的函数类型称作函数模型如抛物线函数或指数函数；参数B是为了使所选择的函数模型同观测值y相匹配。在一般情况中，观测值远多于所选的的参数个数。

在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2…xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。

怎么样来衡量拟合的效果呢？。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差(有固定的变异数)，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。此处引用讲解更详细

函数表示：



还有欧几里得度量：