逼近
由离散点(函数表)给出函数关系通常有两种方法:
- 使用多项式插值
使用多项式插值会带来两个问题:1. 龙格现象2. 数值本身带有误差,使用插值条件来确定函数关系不合理 - 三次样条插值
三次样条插值克服了龙格现象,但计算量大。
曲线拟合的最小二乘法可以克服龙格现象,同时不会有大计算量。
用函数序列
p
n
(
x
)
{p_n(x)}
pn(x) 去近似一个函数
f
(
x
)
{f(x)}
f(x) ,称为逼近。用函数
Φ
{\Phi}
Φ 去近似一堆离散点,称为拟合。
最小二乘法是最佳平方逼近的离散情形。
使用多项式拟合时,如果要拟合的多项式次数等于离散点的个数减一,则最小二乘拟合多项式与多项式插值得到的插值多项式相同。
用多项式做最小二乘的基函数,当 n {n} n 较大时,法方程组的解对初始数据的微小变化非常敏感,属于“病态”问题。所以通过使用正交多项式来避免求解法方程组。
极值原理 在有限集合中存在最大值和最小值。
最小二乘准则 即损失函数
L
=
∑
i
=
1
n
(
y
i
−
f
(
x
i
)
)
2
L= \sum_{i=1}^{ n} (y_i-f(x_i))^2
L=i=1∑n(yi−f(xi))2
最小。法方程是从损失函数取极小值的必要条件推来的。
非线性拟合,就是指用来拟合离散点的函数不是某些函数的线性组合,或者说是关于待定参数的非线性函数。
矛盾方程系数矩阵列向量线性无关,则方程组相容,从而可以解除矛盾方程在最小二乘意义下的最佳近似解。matlab左除“"可以求解矛盾方程
曲线拟合问题
逼近 用类似简化的函数来拟合一堆数据点。
曲线拟合问题 求函数
ϕ
(
x
)
∈
Φ
{\phi(x)\in \Phi}
ϕ(x)∈Φ ,使得
ϕ
(
x
)
{\phi(x)}
ϕ(x) 在离散点上的误差向量
δ
=
[
δ
0
δ
1
⋮
δ
m
]
=
[
ϕ
(
x
0
)
−
y
0
ϕ
(
x
1
)
−
y
1
⋮
ϕ
(
x
m
)
−
y
m
]
\delta = \begin{bmatrix} \delta_0\\ \delta_1 \\ \vdots \\ \delta_m \end{bmatrix}= \begin{bmatrix} \phi(x_0)-y_0\\ \phi(x_1)-y_1 \\ \vdots \\ \phi(x_m)-y_m \end{bmatrix}
δ=
δ0δ1⋮δm
=
ϕ(x0)−y0ϕ(x1)−y1⋮ϕ(xm)−ym
按某一向量范数
∣
∣
δ
∣
∣
{|| \delta ||}
∣∣δ∣∣ 达到最小。
当范数取
2
{2}
2 范数,即为最小二乘法。
正交多项式
Schmidt正交化:
g
n
(
x
)
=
f
n
(
x
)
−
∑
i
=
0
n
−
1
(
f
n
,
g
i
)
(
g
i
,
g
i
)
g
i
(
x
)
g_n(x)=f_n(x)- \sum_{i=0}^{ n-1} \frac{(f_n,g_i)}{(g_i,g_i)}g_i(x)
gn(x)=fn(x)−i=0∑n−1(gi,gi)(fn,gi)gi(x)
由
1
,
x
,
x
2
,
⋯
x
n
{1,x,x^2, \cdots x^n}
1,x,x2,⋯xn 经过Schmidt正交化得到的多项式
P
0
(
x
)
,
P
1
(
x
)
,
⋯
,
P
n
(
x
)
{P_0(x),P_1(x),\cdots ,P_n(x)}
P0(x),P1(x),⋯,Pn(x) 称为
[
a
,
b
]
{[a,b]}
[a,b] 上的正交多项式。
- 求内积时候要带上权函数!
[!example]-
求区间 [ − 1 , 1 ] {[-1,1]} [−1,1] 上权函数为 ρ ( x ) = x 2 {\rho(x)=x^2} ρ(x)=x2 的二次正交多项式 P 2 ( x ) {P_2(x)} P2(x) 。(说了二次,只写到2次项,不然要加…)
解:
P 0 ( x ) = 1 P 1 ( x ) = x − ( x , 1 ) ( 1 , 1 ) × 1 = x − ∫ − 1 1 x ⋅ 1 ⋅ x 2 d x ∫ − 1 1 x 2 d x = x P 2 ( x ) = x 2 − ( x 2 , 1 ) ( 1 , 1 ) × 1 − ( x 2 , x ) ( x , x ) × x = x 2 − ∫ − 1 1 x 2 ⋅ 1 ⋅ x 2 d x ∫ − 1 1 x 2 d x × 1 − ∫ − 1 1 x 2 ⋅ x ⋅ x 2 d x ∫ − 1 1 x ⋅ x ⋅ x 2 d x × x = x 2 − 2 / 5 2 / 3 = x 2 − 3 5 \begin{align*} P_0(x)=&1 \\ \\ P_1(x)=& x- \frac{(x,1)}{(1,1)} \times 1=x- \frac{\int_{ -1 }^{1} x \cdot 1 \cdot x^2 \mathrm dx}{\int_{ -1 }^{1} x^2 \mathrm dx}=x \\ \\ P_2(x)=&x^2- \frac{(x^2,1)}{(1,1)}\times 1- \frac{(x^2,x)}{(x,x)} \times x \\ \\ =&x^2- \frac{\int_{ -1 }^{1} x^2 \cdot 1 \cdot x^2 \mathrm dx}{\int_{ -1 }^{1} x^2 \mathrm dx} \times 1- \frac{\int_{ -1 }^{1} x^2 \cdot x \cdot x^2 \mathrm dx}{\int_{ -1 }^{1} x \cdot x \cdot x^2 \mathrm dx} \times x \\ \\ =& x^2- \frac{2/5}{2/3}=x^2- \frac{3}{5} \end{align*} P0(x)=P1(x)=P2(x)===1x−(1,1)(x,1)×1=x−∫−11x2dx∫−11x⋅1⋅x2dx=xx2−(1,1)(x2,1)×1−(x,x)(x2,x)×xx2−∫−11x2dx∫−11x2⋅1⋅x2dx×1−∫−11x⋅x⋅x2dx∫−11x2⋅x⋅x2dx×xx2−2/32/5=x2−53