很多东西再看第二遍的时候,都有一种恍然大悟的感觉
参数估计方法
现代控制理论中往往要通过观测值对系统内部结构参数进行估计,类似于我们常用的线性最小二乘法,举例:二维坐标(身高、年龄)给一堆的点,找俩参数,然后拟合一条直线 y = a x + b y=ax+b y=ax+b,确定 a a a和 b b b的过程中,就是参数估计。
现代控制理论中的经典参数估计包括:最小方差估计与线性最小方差估计、极大似然法与极大验后法、最小二乘估计与加权最小二乘估计、递推最小二乘估计。
线性最小方差估计
本博文中讲到的线性最小方差估计:设估计值是观测值的线性函数,估计误差的方差为最小。
使用此方法,需要知道观测值 z z z和被估计值 x x x的一、二阶矩(包括期望、方差、协方差)。
其核心公式为:
x
^
=
a
z
+
b
\hat x=az+b
x^=az+b
根据估计误差的方程:
J
=
E
{
[
x
−
x
^
]
2
}
=
E
{
[
x
−
(
a
z
+
b
)
]
2
}
J=E \left\{ [x-\hat x]^2 \right\}=E \left\{ [x-(az+b)]^2 \right\}
J=E{[x−x^]2}=E{[x−(az+b)]2}
分别对
a
a
a和
b
b
b求偏导,令其为0,可以获得相应的值:
a
=
C
o
v
(
x
,
z
)
σ
z
2
a=\frac{Cov(x,z)}{\sigma_z^2}
a=σz2Cov(x,z)
b
=
m
x
−
a
m
z
b=m_x-am_z
b=mx−amz
OK,接着看正交定理。
正交定理
上面提到,在求参数的偏导的时候,令其为0,也就是:
∂
J
∂
a
=
−
2
E
{
[
x
−
(
a
z
+
b
)
]
z
}
=
0
\frac {\partial J}{\partial a}=-2E \left\{ [x-(az+b)]z \right\}=0
∂a∂J=−2E{[x−(az+b)]z}=0
那么也就是
E
[
x
~
z
]
=
0
E[\tilde xz]=0
E[x~z]=0
也就是说我们所利用的信息就是
x
~
\tilde x
x~与
z
z
z的乘积的数学期望为0,概率论中称之为正交。
物理意义
思考:为什么上面的情况就叫做正交呢???能不能直观的解释一下???
那么我们可以看到,如果把这两个随机变量
x
x
x与
z
z
z看作是空间中的两个向量。因此我们在利用线性最小方差估计的时候,就有如下的图:
我们所估计出来的
x
^
\hat x
x^是与
z
z
z共线的,那么什么时候其偏差最小呢,就是
x
~
=
x
−
x
^
\tilde x=x-\hat x
x~=x−x^与
z
z
z垂直的时候,这时候的偏差的长度是最短的,所以是
x
~
\tilde x
x~与
z
z
z正交,与正交定理吻合。
(注:不够严谨的地方望指正,谢谢?)