信号检测与估计 第一章
本课程使用数目是 张明友《信号检测与估计》
假设检验(Hypothesis Test)
理论
已知信号 S ( t ) S(t) S(t)有 M M M个状态(即为M个假设),对接收的信号(样本值)进行处理(在时间范围 [ 0 , T ] [0, T] [0,T])。根据某个准则,作出判决哪个为真, 且可得到此判决为正确的概率。
以上摘自老师PPT,我认为上述都是废话。
简单数学模型
- 源 (Source): 称源的输出为假设(Hypotheses)
- 概率转移机制(Probabilistic Transition Mechanism)
- 观测空间(Observation Space).我们经常设为 X X X,观测空间中的点为: x \mathbf x x, ∀ x ∈ X \forall\mathbf x\in X ∀x∈X
- 判决准则(Decision Rule)
又是大实话。。。
双择检测(Binary Hypothesis Test)问题
信息传输系统,信息发送端只有两种状态(
H
0
H_0
H0和
H
1
H_1
H1),在接收到
x
(
t
)
x(t)
x(t)的条件下,可以作出两种判决(
D
0
D_0
D0和
D
1
D_1
D1)。
我们规定了一个代价因子来计算错误的’代价’,利用代价的最小化来让判定最优化:
代价因子定义:
C i j C_{ij} Cij表示假设 H j H_j Hj为真,却选择了假设 H i H_i Hi的 代价,称为代价因子(cost factor)。
代价因子一般为人为规定的,在考试中,一般上 会将 C i j C_{ij} Cij给出。
双择检验 可以利用的条件
在双择检测中,有
i
,
j
∈
{
0
,
1
}
i,j\in \{0,1\}
i,j∈{0,1}
我们可以利用如下的条件让判决最优化:
- 代价因子
- 先验概率 p ( H 0 ) p(H_0) p(H0)和 p ( H 1 ) p(H_1) p(H1): 也就是我们知道的各个假设出现的概率
- 噪声的统计特性 p ( n ) p(n) p(n)
- 信号的波形 s 0 ( t ) s_0(t) s0(t)和 s 1 ( t ) s_1(t) s1(t)
双择检验:平均风险
给定 x \bf x x的情况
这种情况就是:已经接收到了信号,进行判决而产生的风险。
给定
x
\bf x
x,判为
D
1
D_1
D1的平均代价
r
(
D
1
∣
x
)
=
C
10
P
(
H
0
∣
x
)
+
C
11
P
(
H
1
∣
x
)
r(D_1|\mathbf x)=C_{10}P(H_0|\mathbf x)+C_{11}P(H_1|\bf x)
r(D1∣x)=C10P(H0∣x)+C11P(H1∣x)
给定
x
\bf x
x,判为
D
0
D_0
D0的平均代价
r
(
D
0
∣
x
)
=
C
00
P
(
H
0
∣
x
)
+
C
01
P
(
H
1
∣
x
)
r(D_0|\mathbf x)=C_{00}P(H_0|\mathbf x)+C_{01}P(H_1|\bf x)
r(D0∣x)=C00P(H0∣x)+C01P(H1∣x)
定义平均代价为:
r
(
x
)
=
{
r
(
D
0
∣
x
)
,
D
0
r
(
D
1
∣
x
)
,
D
1
r(\bf x)= \begin{cases} r(D_0|\mathbf x),\ D_0\\ r(D_1|\mathbf x),\ D_1\\ \end{cases}
r(x)={r(D0∣x), D0r(D1∣x), D1
平均风险为:
R
=
∫
x
r
(
x
)
p
(
x
)
d
x
R=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf x
R=∫xr(x)p(x)dx
这里的
p
(
x
)
p(\mathbf x)
p(x)是某一事件的概率密度,我们将其与平均代价相乘积分就能得到平均风险
给定 H i H_i Hi的情况
我个人认为本概念就是对源求解判决的风险。
给定
H
0
H_0
H0,判决的平均代价
r
(
H
0
)
=
C
00
P
(
D
0
∣
H
0
)
+
C
10
P
(
D
1
∣
H
0
)
r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0)
r(H0)=C00P(D0∣H0)+C10P(D1∣H0)
给定
H
1
H_1
H1,判决的平均代价
r
(
H
1
)
=
C
01
P
(
D
0
∣
H
1
)
+
C
11
P
(
D
1
∣
H
1
)
r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1)
r(H1)=C01P(D0∣H1)+C11P(D1∣H1)
平均风险为:
R
=
r
(
H
0
)
P
(
H
0
)
+
r
(
H
1
)
P
(
H
1
)
=
∑
i
,
j
C
i
j
P
(
D
i
,
H
j
)
\begin{aligned} R&=r(H_0)P(H_0)+r(H_1)P(H_1)\\ &=\sum_{i,j}C_{ij}P(D_i,H_j) \end{aligned}
R=r(H0)P(H0)+r(H1)P(H1)=i,j∑CijP(Di,Hj)
讲义上说,两种平均风险是一致的:
R
=
∫
x
r
(
x
)
p
(
x
)
d
x
=
∑
i
,
j
C
i
j
P
(
D
i
,
H
j
)
R=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf x=\sum_{i,j}C_{ij}P(D_i,H_j)
R=∫xr(x)p(x)dx=i,j∑CijP(Di,Hj)
说了这么多,我们最终设计判决方法的核心思想就是最小化风险,
i
.
e
.
m
i
n
{
R
}
i.e.\ min\{R\}
i.e. min{R}。
贝叶斯准则(Bayes Criterion)
我们已知上面列举的四个已知条件,如何进行最优化的判决呢?
以下是推导过程:
思路一:根据平均风险的第一个公式
我们已知 p ( x ) > 0 p(\mathbf x)>0 p(x)>0和 r ( x ) > 0 r(\mathbf x)>0 r(x)>0,根据公式 R = ∫ x r ( x ) p ( x ) d x R=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf x R=∫xr(x)p(x)dx,我们需要最小化 p ( x ) p(\mathbf x) p(x)。而对于双择检验来说,如果已经接收到信号,则意味着我们有两种判定,这样的话,也就只有两种平均风险 r ( x ) = r ( D 1 ∣ x ) r(\mathbf x)=r(D_1|\mathbf x) r(x)=r(D1∣x)或者 r ( x ) = r ( D 0 ∣ x ) r(\mathbf x)=r(D_0|\mathbf x) r(x)=r(D0∣x)。 所以我们可以做这样的判决:
r ( D 1 ∣ x ) > D 0 ≤ D 1 r ( D 0 ∣ x ) r(D_1|\mathbf x)^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}r(D_0|\mathbf x) r(D1∣x)D0>≤D1r(D0∣x) 也就是 C 10 P ( H 0 ∣ x ) + C 11 P ( H 1 ∣ x ) > D 0 ≤ D 1 C 00 P ( H 0 ∣ x ) + C 01 P ( H 1 ∣ x ) C_{10}P(H_0|\mathbf x)+C_{11}P(H_1|\mathbf x)^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}C_{00}P(H_0|\mathbf x)+C_{01}P(H_1|\bf x) C10P(H0∣x)+C11P(H1∣x)D0>≤D1C00P(H0∣x)+C01P(H1∣x) 美观下公式就有: P ( H 1 ∣ x ) P ( H 0 ∣ x ) > D 0 ≤ D 1 C 10 − C 00 C 01 − C 11 \frac{P(H_1|\mathbf x)}{P(H_0|\mathbf x)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{C_{10}-C_{00}}{C_{01}-C_{11}} P(H0∣x)P(H1∣x)D0>≤D1C01−C11C10−C00 双不等号左边这玩意叫做似然比门限。 但是这玩意需要计算后验概率( P ( H i ∣ x ) P(H_i|\mathbf x) P(Hi∣x)),我们还要算一遍,不经济。于是我们利用贝叶斯公式: P ( H i ∣ x ) = P ( x ∣ H i ) P ( H i ) P ( x ) P(H_i|\mathbf x)=\frac{P(\mathbf x|H_i)P(H_i)}{P(\mathbf x)} P(Hi∣x)=P(x)P(x∣Hi)P(Hi)我们就可以再次化简: Λ ( x ) = △ P ( x ∣ H 1 ) P ( x ∣ H 0 ) > D 0 ≤ D 1 P ( H 0 ) ( C 10 − C 00 ) P ( H 1 ) ( C 01 − C 11 ) = △ Λ 0 \Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\overset{\triangle}{=}\Lambda_0 Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)(C01−C11)P(H0)(C10−C00)=△Λ0 Λ ( x ) \Lambda(\mathbf x) Λ(x)j叫做似然比。
思路二:根据平均风险的第二个公式该公式为 R = r ( H 0 ) P ( H 0 ) + r ( H 1 ) P ( H 1 ) R=r(H_0)P(H_0)+r(H_1)P(H_1) R=r(H0)P(H0)+r(H1)P(H1),我们已知: { r ( H 0 ) = C 00 P ( D 0 ∣ H 0 ) + C 10 P ( D 1 ∣ H 0 ) r ( H 1 ) = C 01 P ( D 0 ∣ H 1 ) + C 11 P ( D 1 ∣ H 1 ) P ( D 0 ∣ H 0 ) = 1 − P ( D 1 ∣ H 0 ) P ( D 0 ∣ H 1 ) = 1 − P ( D 1 ∣ H 1 ) \begin{cases} r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0)\\ r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1)\\ P(D_0|H_0)=1-P(D_1|H_0)\\ P(D_0|H_1)=1-P(D_1|H_1) \end{cases} ⎩⎪⎪⎪⎨⎪⎪⎪⎧r(H0)=C00P(D0∣H0)+C10P(D1∣H0)r(H1)=C01P(D0∣H1)+C11P(D1∣H1)P(D0∣H0)=1−P(D1∣H0)P(D0∣H1)=1−P(D1∣H1) 化简可得一个巨长的公式: R = P ( H 0 ) C 00 + P ( H 1 ) C 01 + P ( H 0 ) ( C 10 − C 00 ) P ( D 1 ∣ H 0 ) − P ( H 1 ) ( C 01 − C 11 ) P ( D 1 ∣ H 1 ) R=P(H_0)C_{00}+P(H_1)C_{01}+P(H_0)(C_{10}-C_{00})P(D_1|H_0)-P(H_1)(C_{01}-C_{11})P(D_1|H_1) R=P(H0)C00+P(H1)C01+P(H0)(C10−C00)P(D1∣H0)−P(H1)(C01−C11)P(D1∣H1) 我们寻求一种对样本空间的划分,使得 R R R最小, R m i n = R B R_{min}=R_B Rmin=RB,这个判决准则即成为贝叶斯准则(Bayes
criterion) 在先验概率已知的情况下,巨长公式的前两项为常数,我们现在讨论后两项。 诶!我们给出下面两个公式 P ( D 1 ∣ H 0 ) = ∫ R 1 p ( x ∣ H 0 ) d x P ( D 1 ∣ H 1 ) = ∫ R 1 p ( x ∣ H 1 ) d x P(D_1|H_0)=\int_{R_1}p(\mathbf x|H_0)d_\mathbf x\\ P(D_1|H_1)=\int_{R_1}p(\mathbf x|H_1)d_\mathbf x P(D1∣H0)=∫R1p(x∣H0)dxP(D1∣H1)=∫R1p(x∣H1)dx 第一眼看到会一脸懵逼。
实际上 R 1 R_1 R1就是判决为 D 1 D_1 D1的输入空间。(思考:和判决空间的区别在哪) 我们将上面两个狮子带入 R R R中,则有: R = P ( H 0 ) C 00 + P ( H 1 ) C 01 + ∫ R 1 P ( H 0 ) ( C 10 − C 00 ) p ( x ∣ H 0 ) d x − ∫ R 1 P ( H 1 ) ( C 01 − C 11 ) p ( x ∣ H 1 ) d x \begin{aligned} R=&P(H_0)C_{00}+P(H_1)C_{01}\\ +&\int_{R_1}P(H_0)(C_{10}-C_{00})p(\mathbf x|H_0)d_\mathbf x\\ -&\int_{R_1}P(H_1)(C_{01}-C_{11})p(\mathbf x|H_1)d_\mathbf x \end{aligned} R=+−P(H0)C00+P(H1)C01∫R1P(H0)(C10−C00)p(x∣H0)dx∫R1P(H1)(C01−C11)p(x∣H1)dx 考虑到要让积分最小,就需要取 R 1 R_1 R1为使积分项为负的区域的并集:
所以我们有 P ( H 0 ) ( C 10 − C 00 ) p ( x ∣ H 0 ) − P ( H 1 ) ( C 01 − C 11 ) p ( x ∣ H 1 ) ≤ 0 P(H_0)(C_{10}-C_{00})p(\mathbf x|H_0)-P(H_1)(C_{01}-C_{11})p(\mathbf x|H_1)\leq 0 P(H0)(C10−C00)p(x∣H0)−P(H1)(C01−C11)p(x∣H1)≤0
经过化简和推论,我们发现和思路一的结果一致!
Λ
(
x
)
=
△
P
(
x
∣
H
1
)
P
(
x
∣
H
0
)
>
D
0
≤
D
1
P
(
H
0
)
(
C
10
−
C
00
)
P
(
H
1
)
(
C
01
−
C
11
)
=
△
Λ
0
\Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\overset{\triangle}{=}\Lambda_0
Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)(C01−C11)P(H0)(C10−C00)=△Λ0
即Bayes准则,使总的平均风险最小化
其物理概念为:
两种错误概率
我们有两类错误概率,虚警概率(
P
(
D
1
∣
H
0
)
P(D_1|H_0)
P(D1∣H0))和漏警概率(
P
(
D
0
∣
H
1
)
P(D_0|H_1)
P(D0∣H1))
- 虚警概率(Probability of False Alarm)
雷达探测系统中称为虚警概率 P f P_f Pf,通信系统中表征发送0,接收判决为1的错误概率。 - 漏警概率(Probability of Miss Detection)
雷达探测系统中称为虚警概率 P m P_m Pm,通信系统中表征发送1,接收判决为0的错误概率。
讲义上有个很复杂的例子,不过很好。
最小错误概率与最大后验准则(MAP)
在已知条件下:
- 先验概率: P ( H 1 ) , P ( H 0 ) P(H_1),P(H_0) P(H1),P(H0)
- 正确判决的代价为0,错误判决的代价为1
诶,对了,MAP也就是正确判决的代价为0,错误判决的代价为1的贝叶斯准则!
Λ
(
x
)
=
△
P
(
x
∣
H
1
)
P
(
x
∣
H
0
)
>
D
0
≤
D
1
1
−
P
(
H
1
)
P
(
H
1
)
=
△
Λ
0
\Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{1-P(H_1)}{P(H_1)}\overset{\triangle}{=}\Lambda_0
Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)1−P(H1)=△Λ0
注意了,这个判决似然比贯穿了整个课程,是核心。
在这里最小化Bayes风险变成了最小化平均错误概率,称为最小错误概率准则。(啥是平均错误概率,这两种有什么不同 )
在数字通信中,通常假设
P
(
H
1
)
=
P
(
H
0
)
=
0.5
,
Λ
0
=
P
(
H
0
)
/
P
(
H
1
)
P(H_1)=P(H_0)=0.5,\ \Lambda_0=P(H_0)/P(H_1)
P(H1)=P(H0)=0.5, Λ0=P(H0)/P(H1)
所以有:
Λ
(
x
)
=
p
(
x
∣
H
1
)
p
(
x
∣
H
0
)
>
D
0
≤
D
1
1
=
△
Λ
0
\Lambda(\textbf x)=\frac{p(\textbf x|H_1)}{p(\textbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}1\overset{\triangle}{=}\Lambda_0
Λ(x)=p(x∣H0)p(x∣H1)D0>≤D11=△Λ0
总结
- 代价因子: C i j C_{ij} Cij:你只要判别了,就要负泽任的!
- 平均代价: r ( D i ∣ x ) r(D_i|\mathbf x) r(Di∣x): 每种判别付得泽任!
- 平均风险: R R R: 类似于总共负的泽任的‘期望’。