信号检测与估计（1）

本课程使用数目是 张明友《信号检测与估计》

假设检验（Hypothesis Test）

理论

已知信号$S(t)$有$M$个状态（即为M个假设），对接收的信号（样本值）进行处理（在时间范围$[0,T]$)。根据某个准则，作出判决哪个为真， 且可得到此判决为正确的概率。

以上摘自老师PPT，我认为上述都是废话。

简单数学模型

1. 源 (Source): 称源的输出为假设（Hypotheses）
2. 概率转移机制（Probabilistic Transition Mechanism）
3. 观测空间（Observation Space）.我们经常设为$X$,观测空间中的点为：$\mathbf{x}$, $\forall \mathbf{x}\in X$
4. 判决准则（Decision Rule）
   
   又是大实话。。。

双择检测(Binary Hypothesis Test)问题

信息传输系统，信息发送端只有两种状态($H_0$和$H_1$),在接收到$x(t)$的条件下，可以作出两种判决($D_0$和$D_1$)。
我们规定了一个代价因子来计算错误的’代价’，利用代价的最小化来让判定最优化：

代价因子定义：

$C_{ij}$表示假设$H_j$为真，却选择了假设$H_i$的 代价，称为代价因子（cost factor）。

代价因子一般为人为规定的，在考试中，一般上 会将$C_{ij}$给出。

双择检验 可以利用的条件

在双择检测中，有 i , j ∈ { 0 , 1 } i,j\in \{0,1\} i,j∈{0,1}
我们可以利用如下的条件让判决最优化：

1. 代价因子
2. 先验概率 $p(H_0)$和$p(H_1)$: 也就是我们知道的各个假设出现的概率
3. 噪声的统计特性$p(n)$
4. 信号的波形 $s_0(t)$和$s_1(t)$

双择检验：平均风险

给定$\mathbf{x}$的情况

这种情况就是：已经接收到了信号，进行判决而产生的风险。
给定$\mathbf{x}$,判为$D_1$的平均代价
$$r(D_1|\mathbf{x})=C_{10}P(H_0|\mathbf{x})+C_{11}P(H_1|\mathbf{x})$$
给定$\mathbf{x}$,判为$D_0$的平均代价
$$r(D_0|\mathbf{x})=C_{00}P(H_0|\mathbf{x})+C_{01}P(H_1|\mathbf{x})$$
定义平均代价为：
$$r(\mathbf{x})=\{\begin{array}{l}r(D_0|\mathbf{x}),D_0\\ r(D_1|\mathbf{x}),D_1\end{array}$$
平均风险为：
$$R={\int }_{\mathbf{x}}r(\mathbf{x})p(\mathbf{x})d\mathbf{x}$$
这里的$p(\mathbf{x})$是某一事件的概率密度，我们将其与平均代价相乘积分就能得到平均风险

给定$H_i$的情况

我个人认为本概念就是对源求解判决的风险。
给定$H_0$,判决的平均代价
$$r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0)$$
给定$H_1$,判决的平均代价
$$r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1)$$
平均风险为：
$$\begin{array}{rl}R& =r(H_0)P(H_0)+r(H_1)P(H_1)\\ & =\sum _{i,j}{C}_{ij}P(D_i,H_j)\end{array}$$
讲义上说，两种平均风险是一致的：
$$R={\int }_{\mathbf{x}}r(\mathbf{x})p(\mathbf{x})d\mathbf{x}=\sum _{i,j}{C}_{ij}P(D_i,H_j)$$
说了这么多，我们最终设计判决方法的核心思想就是最小化风险， i . e .   m i n { R } i.e.\ min\{R\} i.e. min{R}。

贝叶斯准则(Bayes Criterion)

我们已知上面列举的四个已知条件，如何进行最优化的判决呢？
以下是推导过程：

思路一：根据平均风险的第一个公式
我们已知$p(\mathbf{x})>0$和$r(\mathbf{x})>0$，根据公式$R={\int }_{\mathbf{x}}r(\mathbf{x})p(\mathbf{x})d\mathbf{x}$,我们需要最小化$p(\mathbf{x})$。而对于双择检验来说，如果已经接收到信号，则意味着我们有两种判定，这样的话，也就只有两种平均风险$r(\mathbf{x})=r(D_1|\mathbf{x})$或者$r(\mathbf{x})=r(D_0|\mathbf{x})$。 所以我们可以做这样的判决：
$$r(D_1|\mathbf{x}{)}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}r(D_0|\mathbf{x})$$ 也就是 $$C_{10}P(H_0|\mathbf{x})+C_{11}P(H_1|\mathbf{x}{)}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}{C}_{00}P(H_0|\mathbf{x})+C_{01}P(H_1|\mathbf{x})$$ 美观下公式就有： $${\frac{P(H_1|\mathbf{x})}{P(H_0|\mathbf{x})}}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}\frac{C_{10}-C_{00}}{C_{01}-C_{11}}$$ 双不等号左边这玩意叫做似然比门限。 但是这玩意需要计算后验概率($P(H_i|\mathbf{x})$)，我们还要算一遍，不经济。于是我们利用贝叶斯公式：$P(H_i|\mathbf{x})=\frac{P(\mathbf{x}|H_i)P(H_i)}{P(\mathbf{x})}$我们就可以再次化简： $$\Lambda (\mathbf{x})\stackrel{△}{=}{\frac{P(\mathbf{x}|H_1)}{P(\mathbf{x}|H_0)}}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\stackrel{△}{=}{\Lambda }_0$$ $\Lambda (\mathbf{x})$j叫做似然比。
思路二：根据平均风险的第二个公式

该公式为$R=r(H_0)P(H_0)+r(H_1)P(H_1)$，我们已知： $$\{\begin{array}{l}r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0)\\ r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1)\\ P(D_0|H_0)=1-P(D_1|H_0)\\ P(D_0|H_1)=1-P(D_1|H_1)\end{array}$$ 化简可得一个巨长的公式： $$R=P(H_0)C_{00}+P(H_1)C_{01}+P(H_0)(C_{10}-C_{00})P(D_1|H_0)-P(H_1)(C_{01}-C_{11})P(D_1|H_1)$$ 我们寻求一种对样本空间的划分，使得$R$最小，$R_{min}=R_B$，这个判决准则即成为贝叶斯准则(Bayes
criterion) 在先验概率已知的情况下，巨长公式的前两项为常数，我们现在讨论后两项。 诶！我们给出下面两个公式 $$\begin{gathered} P(D_1|H_0)={\int }_{R_1}p(\mathbf{x}|H_0)d_{\mathbf{x}} \\ P(D_1|H_1)={\int }_{R_1}p(\mathbf{x}|H_1)d_{\mathbf{x}} \end{gathered}$$ 第一眼看到会一脸懵逼。

实际上$R_1$就是判决为$D_1$的输入空间。（思考：和判决空间的区别在哪） 我们将上面两个狮子带入$R$中，则有： $$\begin{array}{rl}R=& P(H_0)C_{00}+P(H_1)C_{01}\\ +& {\int }_{R_1}P(H_0)(C_{10}-C_{00})p(\mathbf{x}|H_0)d_{\mathbf{x}}\\ -& {\int }_{R_1}P(H_1)(C_{01}-C_{11})p(\mathbf{x}|H_1)d_{\mathbf{x}}\end{array}$$ 考虑到要让积分最小，就需要取$R_1$为使积分项为负的区域的并集：

所以我们有 $$P(H_0)(C_{10}-C_{00})p(\mathbf{x}|H_0)-P(H_1)(C_{01}-C_{11})p(\mathbf{x}|H_1)\le 0$$
经过化简和推论，我们发现和思路一的结果一致！

$$\Lambda (\mathbf{x})\stackrel{△}{=}{\frac{P(\mathbf{x}|H_1)}{P(\mathbf{x}|H_0)}}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\stackrel{△}{=}{\Lambda }_0$$
即Bayes准则，使总的平均风险最小化
其物理概念为：

两种错误概率

我们有两类错误概率，虚警概率（$P(D_1|H_0)$）和漏警概率（$P(D_0|H_1)$）

1. 虚警概率(Probability of False Alarm)
   雷达探测系统中称为虚警概率$P_f$，通信系统中表征发送0，接收判决为1的错误概率。
2. 漏警概率(Probability of Miss Detection)
   雷达探测系统中称为虚警概率$P_m$，通信系统中表征发送1，接收判决为0的错误概率。

讲义上有个很复杂的例子，不过很好。

最小错误概率与最大后验准则(MAP)

在已知条件下：

• 先验概率：$P(H_1)，P(H_0)$
• 正确判决的代价为0，错误判决的代价为1

诶，对了，MAP也就是正确判决的代价为0，错误判决的代价为1的贝叶斯准则！
$$\Lambda (\mathbf{x})\stackrel{△}{=}{\frac{P(\mathbf{x}|H_1)}{P(\mathbf{x}|H_0)}}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}\frac{1-P(H_1)}{P(H_1)}\stackrel{△}{=}{\Lambda }_0$$
注意了，这个判决似然比贯穿了整个课程，是核心。
在这里最小化Bayes风险变成了最小化平均错误概率，称为最小错误概率准则。（啥是平均错误概率，这两种有什么不同 ）
在数字通信中，通常假设$P(H_1)=P(H_0)=0.5,{\Lambda }_0=P(H_0)/P(H_1)$
所以有：$\Lambda (\text{x})={\frac{p(\text{x}|H_1)}{p(\text{x}|H_0)}}_{\underset{D_0}{>}}^{\stackrel{D_1}{\le }}1\stackrel{△}{=}{\Lambda }_0$

总结

1. 代价因子:$C_{ij}$：你只要判别了，就要负泽任的！
2. 平均代价:$r(D_i|\mathbf{x})$: 每种判别付得泽任！
3. 平均风险:$R$: 类似于总共负的泽任的‘期望’。