贝叶斯估计
贝叶斯风险为最小值时的值为最优值
损失函数
X
~
:
损
失
值
\tilde X:损失值
X~:损失值
∣
∣
.
∣
∣
:
范
数
||.||:范数
∣∣.∣∣:范数
L
(
X
~
)
=
L
(
X
−
X
~
(
Z
)
)
L(\tilde X)=L(X-\tilde X(Z))
L(X~)=L(X−X~(Z))
必须满足:
- 非负性: ∣ ∣ X ~ 1 ∣ ∣ > ∣ ∣ X ~ 2 ∣ ∣ ||\tilde X_1||>||\tilde X_2|| ∣∣X~1∣∣>∣∣X~2∣∣时,有 L ( X ~ 1 ) ≥ L ( X ~ 2 ) ≥ 0 L(\tilde X_1)\geq L(\tilde X_2)\geq 0 L(X~1)≥L(X~2)≥0
- ∣ ∣ X ~ ∣ ∣ = 0 ||\tilde X||=0 ∣∣X~∣∣=0, L ( X ~ ) = 0 L(\tilde X)=0 L(X~)=0
- 对称性: L ( X ~ ) = L ( − X ~ 1 ) L(\tilde X)=L(-\tilde X_1) L(X~)=L(−X~1)
贝叶斯风险(Bayesian Risk平均损失函数)
评价损失函数的性能
R
(
X
~
)
=
∫
−
∞
∞
∫
−
∞
∞
L
(
x
−
X
~
(
z
)
)
p
(
x
∣
z
)
d
x
p
(
z
)
d
z
R(\tilde X)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}L(x-\tilde X(z))p(x|z)dxp(z)dz
R(X~)=∫−∞∞∫−∞∞L(x−X~(z))p(x∣z)dxp(z)dz
条件平均损失函数(贝叶斯风险最小值的充要条件)
R
(
X
~
∣
Z
)
=
∫
−
∞
∞
L
(
x
−
X
~
(
z
)
)
p
(
x
∣
z
)
d
x
(
取
最
小
值
)
R(\tilde X|Z)=\int_{-\infty}^{\infty}L(x-\tilde X(z))p(x|z)dx(取最小值)
R(X~∣Z)=∫−∞∞L(x−X~(z))p(x∣z)dx(取最小值)
最小方差与极大验后误差估计是贝叶斯估计的一种特例
维纳滤波
是一种动态估计
维纳滤波原理
自适应LMS定义连续时间观测系统
Z
(
t
)
:
观
测
信
号
,
0
均
值
Z(t):观测信号,0均值
Z(t):观测信号,0均值
X
(
t
)
:
系
统
状
态
,
0
均
值
X(t):系统状态,0均值
X(t):系统状态,0均值
V
(
t
)
:
噪
声
信
号
,
0
均
值
V(t):噪声信号,0均值
V(t):噪声信号,0均值
Z
(
t
)
=
X
(
t
)
+
V
(
t
)
Z(t)=X(t)+V(t)
Z(t)=X(t)+V(t)
设计一个滤波器(假设滤波器的滤波函数为线性函数h)
滤波器需要取方差最小,需要满足一阶导为0:
R
X
Z
:
互
相
关
函
数
R_{XZ}:互相关函数
RXZ:互相关函数
R
X
X
:
自
相
关
函
数
R_{XX}:自相关函数
RXX:自相关函数
∂
E
[
X
~
2
(
t
)
]
∂
h
=
2
R
X
Z
(
τ
)
−
2
∑
m
h
(
m
)
R
X
X
(
j
−
m
)
=
0
\frac{\partial{E[\tilde X^2(t)]}}{\partial h}=2R_{XZ}(\tau)-2\sum_mh(m)R_{XX}(j-m)=0
∂h∂E[X~2(t)]=2RXZ(τ)−2m∑h(m)RXX(j−m)=0
即:
R
X
Z
=
∑
m
h
(
m
)
R
X
X
(
j
−
m
)
R_{XZ}=\sum_mh(m)R_{XX}(j-m)
RXZ=m∑h(m)RXX(j−m)
维纳霍夫积分方程
R
X
Z
(
τ
)
=
∫
0
∞
h
(
t
)
R
X
X
(
τ
−
t
)
d
t
R_{XZ}(\tau)=\int_{0}^{\infty}h(t)R_{XX}(\tau-t)dt
RXZ(τ)=∫0∞h(t)RXX(τ−t)dt