【数值分析】最小二乘法

【数值分析】最小二乘法-----matlab发病率与年龄段的数据拟合

一：概述

​ 在实际生活当中，人们测量的数据并不是精确的。可能只是一堆密密麻麻的离散点数据。这些离散数据点也并不是精确的数据值。但是人们希望能够这些离散数据点的变化规律或者趋势，也就是函数。虽然不能算出准确值，但是了解了变化趋势，可以在一定误差区间内对数据点进行筛选和舍弃，使得结果在误差范围是正确的。

​ 另外一点就是在R,G,B三原色通道中，对图片中的噪声进行去噪。对R,G,B三通道分别进行曲线拟合，舍弃掉那些噪声点。

二：最小二乘的计算过程

​ 对于这些没有规律的数据点，进行曲线拟合时，这条曲线的函数表达式是什么呢？这条曲线应该满足什么条件才是最好的拟合效果呢？当然，肯定是曲线上的点与对应数据点误差越小越好。那么我们用所有数据点误差的平方和来表示拟合效果的好坏。

​ 假设我们测出的数据点能够列出以下方程组：

• x1+x2=2
• x1-x2=1
• x1+x2=3

​ 可能就是因为测量误差导致相同的方程有不同的结果。将方程组写成Ax=b的矩阵形式为：
$$
\left[
\matrix{
1&1\
1&-1\
1&1
}
\right]

\left[
\matrix{
x1\\
x2
}
\right]

=

\left[
\matrix{
2\\
1\\
3
}
\right]

KaTeX parse error: Undefined control sequence: \向 at position 6: ​ 矩阵\̲向̲量乘法另一种形式是如下等价方程…
x1
\left[
\matrix{
1\
1\
1
}
\right]

x2

\left[
\matrix{
1\
-1\1
}
\right]

=

\left[
\matrix{
2\
1\
3
}
\right]
$$
​ 可以看成是向量方程：x₁v₁+x₁v₂=b，（v1 v2为三维向量）。任何mxn的方程组Ax=b都可以看成向量方程x₁v₁+x₂v₁+…+x_nv_n=b。

​ 上面向量方程的v₁，v₂都是三维向量，在空间中构成一个平面，只有b向量在v₁，v₂的平面内，方程才有确定解。

​ 只有b向量在这个平面内，b向量才能由v₁，v₂向量线性表示，b由v₁，v₂线性表示的系数就是方程的解x₁，x₂。但是现在无法解出确定解，既b不在v₁，v₂的平面内。

​ 这时候方程无解，但是我们要找到一个最佳的拟合解。这个最佳解就是b与平面垂直，即为正交，b’。

误差最小，为最佳拟合解。现在我们设最佳解为
$$\overline{x},(A\overline{x}=b^{\prime })$$
b-b’=b-x把，和v₁v₂构成的平面垂直，既与
{ A x ∣ x ϵ R n } \{Ax|x\epsilon R^n\} { Ax∣xϵRn}
垂直。我们将求出最佳解x把。（两个向量内积为0，则夹角为90°）。对于两个m维的列向量u，v
$$
u^Tv=\left[
\matrix{
u1,u2…um
}
\right]

<