状态估计简介
状态估计在自动控制系统里的作用:
• 状态估计,是根据系统的先验模型和测量序列,对系统内在状态进行重构的问题
概率密度函数
我们定义x为区间[a,b]上的随机变量,服从某个概率密度函数p(x),那么这个非负函数必然满足:
∫
a
b
p
(
x
)
d
x
=
1
\mathop{ \int }\nolimits_{{a}}^{{b}}p{ \left( {x} \right) } \text{d} x=1
∫abp(x)dx=1
随机变量在在某区间的积分即为概率:
P
r
(
c
<
=
x
<
=
d
)
=
∫
c
d
p
(
x
)
d
x
Pr(c<=x<=d)=\mathop{ \int }\nolimits_{{c}}^{{d}}p{ \left( {x} \right) } \text{d} x
Pr(c<=x<=d)=∫cdp(x)dx
• 条件概率:
(
∀
y
)
,
P
r
(
c
<
=
x
<
=
d
)
=
∫
c
d
p
(
x
∣
y
)
d
x
({\forall}y),Pr(c<=x<=d)=\mathop{ \int }\nolimits_{{c}}^{{d}}p{ \left( {x|y} \right) } \text{d} x
(∀y),Pr(c<=x<=d)=∫cdp(x∣y)dx
• 联合概率:
p
(
x
1
,
x
2
,
x
3
…
…
x
N
)
p{ \left( {x_1,x_2,x_3……x_N} \right) }
p(x1,x2,x3……xN)
联合概率也满足全概率公理:
∫
a
b
p
(
x
)
d
x
=
∫
a
N
b
N
…
∫
a
2
b
2
∫
a
1
b
1
p
(
x
1
,
x
2
…
…
x
N
)
d
x
1
d
x
2
…
d
x
N
\mathop{ \int }\nolimits_{{a}}^{{b}}p{ \left( {x} \right) } \text{d} x=\mathop{ \int }\nolimits_{{a_N}}^{{b_N}}…\mathop{ \int }\nolimits_{{a_2}}^{{b_2}}\mathop{ \int }\nolimits_{{a_1}}^{{b_1}}p{ \left( {x_1,x_2……x_N} \right) }\text{d} x_1\text{d} x_2…\text{d} x_N
∫abp(x)dx=∫aNbN…∫a2b2∫a1b1p(x1,x2……xN)dx1dx2…dxN
• 贝叶斯公式:
联合=条件*边缘
p
(
x
,
y
)
=
p
(
x
∣
y
)
∗
p
(
y
)
=
p
(
y
∣
x
)
∗
p
(
x
)
p{ \left( {x,y} \right) }=p{ \left( {x|y} \right) }*p{ \left( {y} \right) }=p{ \left( {y|x} \right) }*p{ \left( {x} \right) }
p(x,y)=p(x∣y)∗p(y)=p(y∣x)∗p(x)
p
(
x
∣
y
)
=
p
(
y
∣
x
)
∗
p
(
x
)
p
(
y
)
p{ \left( {x|y} \right) }=\frac{p{ \left( {y|x} \right) }*p{ \left( {x} \right) }}{p{ \left( {y} \right) }}
p(x∣y)=p(y)p(y∣x)∗p(x)
• 赋予该式物理意义:x=状态,y=传感器读数,p(y|x)=传感器模型,p(x|y)=状态估计
• 矩(moments):
• 0阶矩恒等于1
• 1阶矩称为期望(Expectation)
• 2阶矩称为协方差(Covariance)
• 3阶和4阶称为偏度(skewness)和峰度(kurtosis)
• 随机变量的统计独立性:
随机变量x,y满足:
p
(
x
,
y
)
=
p
(
x
)
p
(
y
)
p(x,y)=p(x)p(y)
p(x,y)=p(x)p(y)
• 随机变量不相关性:
E
[
x
y
T
]
=
E
[
x
]
E
[
y
]
T
E[xy^T]=E[x]E[y]^T
E[xyT]=E[x]E[y]T
• 独立性可推出不相关性,反之不行
• 对于高斯分布来说,独立性=不相关性
• 归一化积:
融合多个概率分布的时候需要用到归一化积,若
p
1
(
x
)
p_1(x)
p1(x)和
p
2
(
x
)
p_2(x)
p2(x)是关于x的两个分布,那么它们的归一化积为:
p
(
x
)
=
η
p
1
(
x
)
p
2
(
x
)
p(x)=\eta p_1(x)p_2(x)
p(x)=ηp1(x)p2(x),
η
\eta
η是归一化因子,使得概率积分为1。
高斯概率密度函数
• 一维高斯概率分布:
p
(
x
∣
μ
,
δ
)
=
1
2
π
δ
2
exp
(
−
1
2
(
x
−
μ
)
2
δ
2
)
p(x|\mu,\delta)=\frac {1}{\sqrt{2\pi\delta^2}}\exp(-\frac{1}{2}\frac{(x-\mu)^2}{\delta^2})
p(x∣μ,δ)=2πδ21exp(−21δ2(x−μ)2)
• 联合高斯分布:
p
(
x
,
y
)
=
N
(
[
μ
x
μ
y
]
,
[
σ
x
x
σ
x
y
σ
y
x
σ
y
y
]
)
p(x,y)=N(\left[ \begin{matrix} \mu_x \\ \mu_y \end{matrix} \right],\left[ \begin{matrix} \sigma_{xx} & \sigma_{xy} \\ \sigma_{yx} & \sigma_{yy} \end{matrix} \right])
p(x,y)=N([μxμy],[σxxσyxσxyσyy])
• 高斯推断:
对联合概率分布的协方差矩阵进行三角化然后求逆可得:
[
σ
x
x
σ
x
y
σ
y
x
σ
y
y
]
=
[
1
σ
x
y
σ
y
y
−
1
0
1
]
[
σ
x
x
−
σ
x
y
σ
y
y
−
1
σ
y
x
0
0
σ
y
y
]
[
1
0
σ
y
y
−
1
σ
y
x
1
]
\left[ \begin{matrix} \sigma_{xx} & \sigma_{xy} \\ \sigma_{yx} & \sigma_{yy} \end{matrix} \right]=\left[ \begin{matrix} 1 & \sigma_{xy}\sigma_{yy}^{-1} \\ 0 & 1 \end{matrix} \right]\left[ \begin{matrix} \sigma_{xx}-\sigma_{xy}\sigma_{yy}^{-1} \sigma_{yx}& 0 \\ 0 & \sigma_{yy} \end{matrix} \right]\left[ \begin{matrix} 1 & 0 \\ \sigma_{yy}^{-1}\sigma_{yx} & 1 \end{matrix} \right]
[σxxσyxσxyσyy]=[10σxyσyy−11][σxx−σxyσyy−1σyx00σyy][1σyy−1σyx01]
两边求逆:
[
σ
x
x
σ
x
y
σ
y
x
σ
y
y
]
−
1
=
[
1
0
−
σ
y
x
σ
y
y
−
1
1
]
[
[
σ
x
x
−
σ
x
y
σ
y
y
−
1
σ
y
x
]
−
1
0
0
σ
y
y
−
1
]
[
1
−
σ
y
y
−
1
σ
x
y
0
1
]
\left[ \begin{matrix} \sigma_{xx} & \sigma_{xy} \\ \sigma_{yx} & \sigma_{yy} \end{matrix} \right]^{-1}=\left[ \begin{matrix} 1 & 0\\ -\sigma_{yx}\sigma_{yy}^{-1} & 1 \end{matrix} \right]\left[ \begin{matrix} {[\sigma_{xx}-\sigma_{xy}\sigma_{yy}^{-1} \sigma_{yx}]}^{-1}& 0 \\ 0 & \sigma_{yy}^{-1} \end{matrix} \right]\left[ \begin{matrix} 1 & -\sigma_{yy}^{-1}\sigma_{xy} \\ 0 & 1 \end{matrix} \right]
[σxxσyxσxyσyy]−1=[1−σyxσyy−101][[σxx−σxyσyy−1σyx]−100σyy−1][10−σyy−1σxy1]
• 高斯分布的独立性和不相关性: 互相等价
• 高斯分布的线性变换:
高斯分布x~
N
(
μ
x
,
σ
x
x
)
N(\mu_x,\sigma_{xx})
N(μx,σxx)
y=Gx,则y分布为:
y~
N
(
G
μ
x
,
G
μ
x
x
G
T
)
N(G\mu_x,G\mu_{xx}G^T)
N(Gμx,GμxxGT)
• 高斯分布的归一化积
• 高斯分布的非线性变换:
高斯分布x~
N
(
μ
x
,
σ
x
x
)
N(\mu_x,\sigma_{xx})
N(μx,σxx)
y=g(x)为非线性变换,则y分布为:
p
(
y
∣
x
)
p(y|x)
p(y∣x)~
N
(
g
(
x
)
,
R
)
N(g(x),R)
N(g(x),R),g为非线性变换,且受到噪声R干扰,在
μ
x
\mu_x
μx处对g进行线性化可得:
g
(
x
)
≈
μ
y
+
G
(
x
−
μ
x
)
g(x)\approx\mu_y+G(x-\mu_x)
g(x)≈μy+G(x−μx),G为g(x)在
x
=
μ
x
x=\mu_x
x=μx处的雅克比矩阵,最后可得:
y~
N
(
g
(
x
)
,
R
+
G
σ
x
x
G
T
)
N(g(x),R+G\sigma_{xx}G^T)
N(g(x),R+GσxxGT)
• 高斯过程:
非常烧脑,提供一些资料如下:
高斯过程在连续时间SLAM与运动规划中的应用
图文详解高斯过程