最近一直在进行图像处理方面的学习,在正式进行图像处理之前我们要学习许多预备的数学
知识,其中最小二乘法就是其中很重要的一种知识。
首先我们了解一下最小二乘法的原理与概念,最小二乘法(又称最小平方法)是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以进行最小二乘回归
有一组数据(x1,y1),(x2,y2)......(xn,yn)
我们假设这组数据拟合为y=ax这条直线,则用最小二乘法:
a应该取为满足以上公式取值最小时的值,即
这样我们就可以得到一条与这些已知数据拟合的比较好的直线y=ax。
如果是一种非线性回归,比如y=a0+a1*x+a2*x^2
也可以看成线性的来描述,令x^2=x2,x=x1,1=x0,可以看成是一种对参数空间的线性,这样
就化成了y=a0*x0+a1*x1+a2*x2,这是一个多维的线性回归
如果有n维,我们可以有函数y=a1*x1+a2*x2+......+am*xm,我们可以
使用这样三个矩阵:
A= 为参数矩阵 和 Y= 因变量观测值矩阵
以及X=自变量观测值矩阵
我们要求得最佳的参数即采用最小二乘法
误差为,我们取最小误差而得到参数值
我们如何由上式求出参数A呢,这里我们可以对误差函数求关于参数A的偏导
误差函数 可以化为
对e(A)=求关于A的偏导可得
=0
由此可得A=
由此参数A可拟合出符合数据集的函数。