1.概率基础
概率论中,假设随机变量为
X
X
X。
当
X
X
X离散时,即
X
X
X存在有限个取值
{
x
1
,
x
2
,
…
,
x
n
}
\{x_1,x_2,\ldots,x_n\}
{x1,x2,…,xn},概率可表示为:
P
(
X
=
x
i
)
=
p
P(X=x_i)=p
P(X=xi)=p表示
X
X
X的值为
x
i
x_i
xi的概率,
p
(
x
)
=
{
P
(
X
=
x
)
,
x
∈
{
x
1
,
x
2
,
…
,
x
n
}
0
,
x
∉
{
x
1
,
x
2
,
…
,
x
n
}
p(x) = \begin{cases} P(X=x), & x\in\{x_1,x_2,\ldots,x_n\} \\[2ex] 0, & x\notin\{x_1,x_2,\ldots,x_n\} \\ \end{cases}
p(x)=⎩⎨⎧P(X=x),0,x∈{x1,x2,…,xn}x∈/{x1,x2,…,xn}
p
(
x
)
p(x)
p(x)称为概率质量函数(probability mass function);
当
X
X
X连续时,概率可表示为:
P
(
a
<
X
<
b
)
=
∫
a
b
p
(
x
)
d
x
P(a<X<b)=\int_a^bp(x){\rm d}x
P(a<X<b)=∫abp(x)dx表示
X
X
X的取值在
(
a
,
b
)
(a,b)
(a,b)区间内的概率,
p
(
x
)
p(x)
p(x)称为概率密度函数(probability density function)。
联合概率
多个随机变量分别满足各自条件的概率,
离散时,
p
(
x
,
y
)
=
P
(
X
=
x
,
Y
=
y
)
p(x,y) = P(X=x, Y=y)
p(x,y)=P(X=x,Y=y),
连续时,
P
(
a
<
X
<
b
,
c
<
Y
<
d
)
=
∫
c
d
∫
a
b
p
(
x
,
y
)
d
x
d
y
P(a<X<b,c<Y<d)=\int_c^d\int_a^bp(x,y){\rm d}x{\rm d}y
P(a<X<b,c<Y<d)=∫cd∫abp(x,y)dxdy,
p
(
x
,
y
)
p(x,y)
p(x,y)为联合概率密度函数。
条件概率
p
(
x
∣
y
)
=
P
(
X
=
x
∣
Y
=
y
)
p(x|y)=P(X=x|Y=y)
p(x∣y)=P(X=x∣Y=y)表示在
Y
=
y
Y=y
Y=y的条件下,
X
=
x
X=x
X=x的概率。
p
(
x
∣
y
)
=
p
(
x
,
y
)
p
(
y
)
p
(
x
,
y
)
=
p
(
x
∣
y
)
p
(
y
)
=
p
(
y
∣
x
)
p
(
x
)
p(x|y)=\frac{p(x,y)}{p(y)} \\ p(x,y)=p(x|y)p(y)=p(y|x)p(x)
p(x∣y)=p(y)p(x,y)p(x,y)=p(x∣y)p(y)=p(y∣x)p(x)
全概率公式
离散时,
p
(
x
)
=
∑
y
p
(
x
,
y
)
=
∑
y
p
(
x
∣
y
)
p
(
y
)
p(x)=\sum_yp(x,y)=\sum_yp(x|y)p(y)
p(x)=y∑p(x,y)=y∑p(x∣y)p(y)
连续时,
p
(
x
)
=
∫
p
(
x
,
y
)
d
y
=
∫
p
(
x
∣
y
)
p
(
y
)
d
y
p(x)=\int p(x,y){\rm d}y=\int p(x|y)p(y){\rm d}y
p(x)=∫p(x,y)dy=∫p(x∣y)p(y)dy
p
(
x
)
p(x)
p(x)是
X
X
X的边缘分布。
贝叶斯公式
p
(
x
∣
y
)
=
p
(
x
,
y
)
p
(
y
)
=
p
(
y
∣
x
)
p
(
x
)
p
(
y
)
p(x|y)=\frac{p(x,y)}{p(y)}=\frac{p(y|x)p(x)}{p(y)}
p(x∣y)=p(y)p(x,y)=p(y)p(y∣x)p(x)在贝叶斯定理中,每个名词都有约定俗成的名称:
p
(
x
∣
y
)
p(x|y)
p(x∣y)被称作后验概率(Posterior probability);
p
(
x
)
p(x)
p(x)和
p
(
y
)
p(y)
p(y)被称作先验概率(Prior probability) 或边缘概率;
p
(
y
∣
x
)
p(y|x)
p(y∣x)是条件概率,也称为似然性/可能性(likelihood)
2.贝叶斯滤波
滤波是一种方法、手段,在时移(time-varying)系统中,通过对带有噪声的前k个观测
y
1
:
k
y_{1:k}
y1:k来估计隐状态
x
k
x_k
xk的处理方法,记作
x
k
∣
y
1
:
k
x_k|y_{1:k}
xk∣y1:k;
这就是随机动态系统中的滤波问题,我们需要根据带有误差的实际测量数据对目标的位置、速度、加速度等进行估计。在二战期间,它是由于军事方面的需要而产生的,在通讯、控制等领域获得了广泛的应用。根据上述特性,具体地在全球定位系统(GPS)、多目标追踪、导航等方面的应用很多。
贝叶斯滤波模型假设
我们考虑的是随机动态系统,自然要用概率来刻画,所以我们需要一个概率状态空间模型,要素如下:
x
k
x_k
xkk时刻的状态
y
k
y_k
ykk时刻的观测
p
(
x
k
∣
x
k
−
1
)
p(x_k|x_{k-1})
p(xk∣xk−1)状态转移概率
p
(
y
k
∣
x
k
)
p(y_k|x_k)
p(yk∣xk)观测概率
贝叶斯滤波方程及其推导
初始化:
初始状态的先验分布为
p
(
x
0
)
p(x_0)
p(x0)
预测步:
利用前k-1个观测来估计第k个隐状态
x
k
x_k
xk,可以根据全概率公式:
p
(
x
k
∣
y
1
:
k
−
1
)
=
∫
p
(
x
k
∣
x
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
d
x
k
−
1
p(x_k|y_{1:k-1})=\int p(x_k|x_{k-1})p(x_{k-1}|y_{1:k-1}){\rm d}x_{k-1}
p(xk∣y1:k−1)=∫p(xk∣xk−1)p(xk−1∣y1:k−1)dxk−1
更新步:
利用预测和新加入的第k个观测
y
k
y_k
yk,结合贝叶斯公式:
p
(
x
k
∣
y
1
:
k
)
=
1
Z
k
p
(
y
k
∣
x
k
)
p
(
x
k
∣
y
1
:
k
−
1
)
p(x_k|y_{1:k})=\frac{1}{Z_k}p(y_k|x_k)p(x_k|y_{1:k-1})
p(xk∣y1:k)=Zk1p(yk∣xk)p(xk∣y1:k−1)
其中
Z
k
=
∫
p
(
y
k
∣
x
k
)
p
(
x
k
∣
y
1
:
k
−
1
)
d
x
k
Z_k=\int p(y_k|x_k)p(x_k|y_{1:k-1}){\rm d}x_k
Zk=∫p(yk∣xk)p(xk∣y1:k−1)dxk
这样的话,我们就确定了贝叶斯滤波框架,在这个框架下,我们就可以导出下面一系列的滤波:卡尔曼滤波、三种非线性滤波等等。