matlab最小二乘法 矩阵形式,最小二乘法的一般形式和矩阵形式原理推导和代码实现...

作者：金良(golden1314521@gmail.com) csdn博客：http://blog.csdn.net/u012176591

1.线性代数模型

首先给出最小二乘解的矩阵形式的公式：

推导过程：

条件：

矩阵

必须是列满秩矩阵，否则

的逆就不会存在。

若A为m×n的矩阵，b为m×1的矩阵，则Ax=b表达了一个线性方程组，它的normal equation的形式为ATAx=ATb。

当Ax=b有解时(即矩阵[A|b]的秩与A的秩相同)，Ax=b与ATAx=ATb的解集是一样。

而当Ax=b无解时，ATAx=ATb仍然有解，其解集即最小二乘解(least squares solution)，即使得(Ax-b)T(Ax-b)的值最小的解，可以理解为使方程组Ax=b近似成立且误差最小的解。

Python语言写的一个例子：

#encoding=UTF-8

'''

Created on 2014年6月30日

@author: jin

'''

from numpy import *

import matplotlib.pyplot as plt

from random import *

def loadData():

x = arange(-1,1,0.02)

y = ((x*x-1)**3&#