本篇文章适合个人复习翻阅,不建议新手入门使用
本专栏:数值分析复习 的前置知识主要有:数学分析、高等代数、泛函分析
逼近理论的应用——最小二乘问题、解超定、欠定方程组
离散平方逼近
设全空间
X
=
R
n
X=\mathbb{R}^n
X=Rn, 在
R
n
\mathbb{R}_n
Rn 中取
m
<
n
m<n
m<n 个线性无关的向量
(
X
1
,
…
,
X
m
)
(X_1,\dots,X_m)
(X1,…,Xm),令
M
=
s
p
a
n
{
X
1
,
…
,
X
m
}
M=span\{X_1,\dots,X_m\}
M=span{X1,…,Xm},则对任意
Y
∈
X
\
M
Y\in X\backslash M
Y∈X\M,
M
M
M 中存在唯一的最佳逼近元
X
∗
=
∑
i
=
1
m
c
i
X
i
X^*=\sum\limits_{i=1}^mc_iX_i
X∗=i=1∑mciXi,其满足以下法方程组
∑
i
=
1
m
<
X
i
,
X
j
>
c
i
=
<
Y
,
X
j
>
\sum\limits_{i=1}^m<X_i,X_j>c_i=<Y,X_j>
i=1∑m<Xi,Xj>ci=<Y,Xj>若设
A
=
[
X
1
,
…
,
X
m
]
,
C
=
[
c
1
,
…
,
c
m
]
T
A=[X_1,\dots,X_m],C=[c_1,\dots,c_m]^T
A=[X1,…,Xm],C=[c1,…,cm]T,则方程组等效于
A
T
A
C
=
A
T
Y
A^TAC=A^TY
ATAC=ATY
最小二乘解
求如下的最小化问题的解
x
∈
R
n
,
s
.
t
.
min
∣
∣
A
x
−
b
∣
∣
2
x\in \mathbb{R}^n,s.t.\min||Ax-b||_2
x∈Rn,s.t.min∣∣Ax−b∣∣2由离散平方逼近的理论,其解满足
A
T
A
x
=
A
T
b
A^TAx=A^Tb
ATAx=ATb
应用:求解超定、欠定方程组
我们把线性方程组
A
x
=
b
Ax=b
Ax=b 中,
未知数多于方程个数的方程组称为欠定方程组,
未知数多于方程个数且有矛盾方程的方程组称为超定方程组。
欠定方程组一般有多个解,超定方程组一般无解,故在工程上常用1范数或2范数意义下的最佳逼近解来作为解,即上述的最小二乘解
x
∈
R
n
,
s
.
t
.
min
∣
∣
A
x
−
b
∣
∣
2
x\in \mathbb{R}^n,s.t.\min||Ax-b||_2
x∈Rn,s.t.min∣∣Ax−b∣∣2其解满足
A
T
A
x
=
A
T
b
A^TAx=A^Tb
ATAx=ATb
参考书籍:《数值分析》李庆扬 王能超 易大义 编