数值计算——线性最小二乘问题

数值计算——线性最小二乘问题

        最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

        m×n的线性方程组Ax=b是否有解？就是b能否表示成A的列向量的线性组合，当m=n时，肯定有解；当m>n，若b∈span(A)那么有解，否则无解。而对于线性最小二乘问题Ax＝b的解唯一的充要条件就是A列满秩，即rank(A)=n。用最小二乘法求解该方程就是使得残差向量r=b-Ax的二范数的平方取最小。

       这里使用正规方程组、QR分解两种方法求解线性最小二乘问题。

1、正规方程组

      如果A列满秩，那么n×n正定对称正规方程组与m×n最小二乘问题Ax=b同解，求解该方程组则可通过楚列斯基分解法求得。理论上，有正规方程组可以得到线性最小二乘问题的精确解，但是由于正规方程组会出现条件数平方效应（叉积矩阵的条件数是原矩阵条件数的平方），所以往往得不到所期待的效果。

     代码实现也比较简单，只要求出A的转置、A的转置×A、A的转置×b就可以使用上一篇的楚列斯基分解求出方程的解了。

package com.kexin.lab4;

public class NomalEquation {
	/**
	 * Cholesky分解
	 * 
	 * @param a
	 * @return
	 */
	public static double[][] Cholesky(double[][] a) {
		int n