最小二乘回归

最近一直在进行图像处理方面的学习，在正式进行图像处理之前我们要学习许多预备的数学

知识，其中最小二乘法就是其中很重要的一种知识。

首先我们了解一下最小二乘法的原理与概念，最小二乘法（又称最小平方法）是一种数学优化技术。

它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以进行最小二乘回归

       有一组数据（x1,y1）,(x2,y2)......(xn,yn)

        我们假设这组数据拟合为y=ax这条直线，则用最小二乘法：

               

                           a应该取为满足以上公式取值最小时的值，即

                           

这样我们就可以得到一条与这些已知数据拟合的比较好的直线y=ax。

如果是一种非线性回归，比如y=a0+a1*x+a2*x^2

也可以看成线性的来描述，令x^2=x2,x=x1,1=x0,可以看成是一种对参数空间的线性，这样

就化成了y=a0*x0+a1*x1+a2*x2,这是一个多维的线性回归

如果有n维，我们可以有函数y=a1*x1+a2*x2+......+am*xm，我们可以

使用这样三个矩阵：

    A=  为参数矩阵    和   Y= 因变量观测值矩阵

以及X=自变量观测值矩阵

我们要求得最佳的参数即采用最小二乘法

误差为,我们取最小误差而得到参数值

我们如何由上式求出参数A呢，这里我们可以对误差函数求关于参数A的偏导

误差函数  可以化为

对e（A）=求关于A的偏导可得

=0

由此可得A=

由此参数A可拟合出符合数据集的函数。