信号检测与估计——知识总结

1、卡方分布的均值和方差

最近在学习信号检测与估计，在求解高斯随机变量平方的期望时，需要用到卡方分布。

1. 卡方分布：n个相互独立且服从标准正态分布的随机变量的平方和构成的统计量${\chi }^2$，服从自由度为n的卡方分布。

2. 卡方分布：${\chi }^2={\sum }_{i=0}^n{X}_i^2;X_i\sim N(0,1)$。

3. 卡方分布的均值：n。

   1. $$E({\chi }^2)=E(\sum _{i=1}^n{X}_i^2)=\sum _{i=1}^{n}E(X_i^2)=\sum _{i=1}^{n}V(X_i)=n$$

4. 卡方分布的方差：2n。

   1. 方差的推导涉及到数学运算较为复杂。

   2. $$\begin{array}{rl}V({\chi }^2)& =V(\sum _{i=1}^n{X}_i^2)=\sum _{i=0}^{n}V(X_i^2)\\ & =\sum _{i=1}^n[E(X_i^4)-E^2(X_i^2)]\\ & =\sum _{i=1}^n[\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{x}^{4}exp(-\frac{x^2}{2})dx-1]\\ & =\sum _{i=1}^n(3-1)\\ & =2n\end{array}$$

5. 中心卡方分布：${\chi }^2={\sum }_{i=0}^n{X}_i^2;X_i\sim N(0,{\sigma }^2)$

   1. 均值：n𝛔²;
   2. 方差：2n𝛔⁴。

2、高斯变量的线性运算

1. x~N(0,1)
2. y = a+bx, y~N(a,b²)
3. 相互独立的N个标准高斯变量之和：$y=\sum X_i\sim N(0,N)$
4. 方差：V(X±Y) = V(X) + V(Y) ± 2COV(X,Y)

3、抽样分布定理

1. 从正态总体N(u,𝛔²)中抽取n个样本，样本均值记为m，样本方差记为S²;
2. m = $\frac{1}{n}{\sum }_{i=1}^n{x}_i$;
3. S² =$\frac{1}{n-1}{\sum }_{i=1}^n(x_i-m{)}^2$;
4. m~N(u,𝛔²/n);
5. $\frac{n-1}{{\sigma }^2}{S}^2\sim {\chi }^2(n-1)$;
6. $\frac{m-\mu }{S/\sqrt{n}}\sim t(n-1)$
7. m和S²相互独立。

以上是总体的均值和方差均未知，使用样本均值和方差来估计总体的均值和方差。

如果均值已知，那么样本方差将服从自由度为n的卡方分布，并且不用使用1/(n-1)来做到无偏，使用1/n即可。

4、估计量的特性

1. 无偏性：$E(\hat a)=a $
2. 一致性（均方一致性）:${\lim }_{K\to \infty }E(|\hat{a}-a{|}^2)=0$
3. 有效性（优效性）: 无偏+CLRB：$V(\hat{a})=-1/E(\frac{{\partial }^{2}p(x|a)}{\partial a^2})$
4. 充分性:

5、最大似然估计

1. $\frac{\partial }{\partial \alpha }p(\vec{y};\alpha )=0$
2. 似然函数的关于某个估计量的导数为0，此时的估计值称为估计量的最大似然估计。

6、MAP估计

1. $\frac{\partial }{\partial \alpha }p(\alpha ;\vec{y})=0$
2. 和ML估计相反，最大似然由于不知道先验概率分布，所以只能从似然函数出发进行估计。
3. 利用贝叶斯公式，可推导出ML和MAP估计的关系：$p(\alpha ;\vec{y})=\frac{p(\vec{y};\alpha )p(\alpha )}{p(\vec{y})}$

利用对数似然函数，写出更加简洁的形式：
$$\begin{array}{rl}\frac{\partial }{\partial \alpha }\ln p(\alpha ;\vec{y})& =\frac{\partial }{\partial \alpha }\ln p(\vec{y};\alpha )+\frac{\partial }{\partial \alpha }\ln p(\alpha )-\frac{\partial }{\partial \alpha }\ln p(\vec{y})\\ & =\frac{\partial }{\partial \alpha }\ln p(\vec{y};\alpha )+\frac{\partial }{\partial \alpha }\ln p(\alpha )\end{array}$$
如果先验概率是一个较广的分布，那么MAP和ML估计几乎相同，比如在一个较宽的区间里面的均匀分布。

7、CRLB：克劳美罗下界

1. 这是估计量的方差所能达到的最小值，显然这是一个很有用的值。

2. V ( a ^ ) ≥ − 1 E { ∂ 2 ∂ α 2 ln ⁡ p ( y ⃗ ; α ) } = 1 E { [ ∂ ∂ α ln ⁡ p ( y ⃗ ; α ) ] 2 } V(\hat a) \ge - \cfrac{1}{E\{ \cfrac{\partial^2 }{\partial \alpha^2}\ln p(\vec y;\alpha) \}} = \cfrac{1}{E\{[ \cfrac{\partial }{\partial \alpha}\ln p(\vec y;\alpha) ]^2 \}} V(a^)≥−E{∂α2∂2​lnp(y ​;α)}1​=E{[∂α∂​lnp(y ​;α)]2}1​

8、MSE和方差

1. MSE：均方误差，mean squre error，是指观测值和真实值之差的平方的均值。
2. 方差：方差，variance，是指观测值和均值之差的平方的均值。
3. RMSE：根均方误差，均方误差的算术平方根。

9、多维高斯变量的联合概率分布

1. f ( X ) = 1 ( 2 π ) n / 2 d e t C . exp ⁡ { − 1 2 ( X − μ ) T C − 1 ( X − μ ) } f(X) = \frac{1}{(2\pi)^{n/2}\sqrt{detC}}.\exp\{ -\tfrac{1}{2}(X-\mu)^TC^{-1}(X-\mu) \} f(X)=(2π)n/2detC ​1​.exp{−21​(X−μ)TC−1(X−μ)}

2. 如果每个维度的高斯分布均值为0，方差为${\sigma }_n^2$，并且相互独立，那么C是一个对角阵。

3. f ( X ) = 1 ( 2 π σ n 2 ) n / 2 . exp ⁡ { − 1 2 σ n 2 ∑ i = 1 n x i 2 } f(X) = \frac{1}{(2\pi\sigma_n^2)^{n/2}}.\exp\{ -\tfrac{1}{2\sigma_n^2}\sum_{i=1}^{n}x_i^2 \} f(X)=(2πσn2​)n/21​.exp{−2σn2​1​∑i=1n​xi2​}

4. 当离散的观测，变为0到T的连续观测：相当于将0到T的时间区间无限划分，每一个小区间时间为$\Delta t$。

5. 维纳辛钦定理：自相关函数和功率谱密度互为傅立叶变换。

6. 高斯白噪声的功率谱密度是一个门函数，区间为[-w0,w0]，功率谱密度通常为N0/2，这样总能量为N0w0。因此高斯白噪声的自相关函数是一个sinc函数，$\frac{N_0}{2}.\frac{sin(w_{0}t)}{\pi t}$

7. 因此要使得采样点之间相互独立，$\Delta t=\frac{\pi }{w_0}$

8. $R_n(0)={\sigma }_n^2=\frac{1}{2\pi }\int \frac{N_0}{2}\exp [jw\times 0]dw=\frac{1}{2\pi }{N}_0{w}_0=\frac{N_0}{2\Delta t}$

9. f ( x ( t ) ) = 1 ( 2 π N 0 2 Δ t ) n / 2 . exp ⁡ { − 1 2 N 0 2 Δ t ∑ i = 1 n x i 2 } = K exp ⁡ { − 1 N 0 ∫ 0 T x 2 ( t ) d t } f(x(t))=\frac{1}{(2\pi\frac{N_0}{2\Delta t})^{n/2}}.\exp\{ -\tfrac{1}{2\frac{N_0}{2\Delta t}}\sum_{i=1}^{n}x_i^2 \} = K\exp\{-\frac{1}{N_0}\int_0^T x^2(t)dt \} f(x(t))=(2π2ΔtN0​​)n/21​.exp{−22ΔtN0​​1​∑i=1n​xi2​}=Kexp{−N0​1​∫0T​x2(t)dt}

10、MAP准则

MAP：Maximum a posteriori ，最大后验概率。

后验概率：所谓先验、后验，是从通信的接收方而言的。接收到信号之前的所有信息，叫先验信息；接收到信号之后的信息，叫后验信息。特别地，称P(y0)是发送y0信号的先验概率，称P(H0|y)是接收到信号y之后判断是H0假设的后验概率。H0是假设发送的是s0。

检测思想：P(H0|y)、P(H1|y)是两个条件概率，哪个条件概率大，就认为哪个假设是正确的。在具体操作中，会根据这两个条件概率推导出一个门限，用接收信号的计算出似然比来和这个门限做比较，从而做出判决。这就是最大后验概率。

现在利用贝叶斯公式将后验概率修改成似然函数。
$$p(H0|y)=\frac{p(H0,y)}{p(y)}=\frac{p(y|H0)P(H0)}{p(y)}$$
比如P(H0|y)>P(H1|y)，就可改写为：
$$p(y|H0)P(H0)>p(y|H1)P(H1)$$
通常将它写成除法的形式：
$$\frac{p(y|H1)}{p(y|H0)}<\frac{P(H0)}{P(H1)}$$

具体地：可假设信号接收信号为y=s_i+n，i=0，1。即检测在白噪声污染下的信号。

11、ML准则

ML：最大似然准则。在不知道先验概率的情况下，假设先验概率是P(y1)=P(y0)。再代入MAP的公式里面，称这种情况为最大似然。

似然函数：这原本是一个概率论里面的术语，比如L(x1,x2,x3…；a1,a2,a3,…)是在参数a1，a2，a3，…下的关于x1，x2，x3，…的似然函数。其目的是对参数进行估计，选择合适的参数使得似然函数达到最大值。信号检测领域，我们也称p(y|H0)这种条件概率，也称为似然函数。

12、Bayes准则

所谓贝叶斯准则，就是在MAP的基础上，引入了代价函数的概念。认为只有错误判决才应该付出代价，或者说错误判决付出的代价要比正确判决付出的代价少。MAP可看成四种代价全部为1的情况。

13、极大极小化准则

MM准则：极大极小化准则，这是一种十分保守的准则，在不知道先验概率的情况下，求出最大的风险。

怎么求出这个最大风险呢，首先需要考虑我们能决定是什么？代价因子是固定的，似然函数是固定的，门限是贝叶斯门限，只不过先验概率未知，由于先验概率是未知的，那么我们需要找到这个是风险函数最大的先验概率。

其次需要考虑什么样的先验概率使风险函数取得最大值？驻点。

极大极小化方程：
$$\begin{gathered} r_0(a)=r_1(a) \\ 即C_{00}{P}_{00}+C_{10}{P}_{10}=C_{11}{P}_{11}+C_{01}{P}_{01} \end{gathered}$$
根据极大极小化方程求出似然比门限tau_mm：
$${\tau }_{mm}=\frac{a(C_{10}-C_{00})}{(1-a)(C_{01}-C_{11})}$$
从而反解出a，a即是使得风险函数取得最大值的假设的先验概率${\pi }_0$

14、NP准则：

给定虚警概率，求出NP门限，从而计算出检测概率。