文章目录
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/c3082f506eff4462bc01028fa1bd3eb5.png#pic_center)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cc86360c23174f599d4c108a48edc03b.png#pic_center)
背景
通信和感知在硬件结构上相似,高效地利用资源,实现相互的增益;
感知是基于不同的任务,比如目标检测(检测概率,虚警概率),估计任务(从收到的信号中去估计有用的参数,均方误差,CRB),识别(知道目标的语义信息,就是目标分类,识别准确率),这些感知指标基本都是可靠性
指标,感知的结果难以量化成一个比特,所以我们不去讨论感知的有效性。
考虑估计指标,估计参数, E { ( η − η ^ ) ( η − η ^ ) T } ⩾ J − 1 = { E [ ∂ 2 ln p ( Y , η ) ∂ η ∂ η T ] } − 1 \mathbb{E}\Big\{(\mathbf{\eta}-\mathbf{\hat{\eta}})(\mathbf{\eta}-\mathbf{\hat{\eta}})^{\mathrm{T}}\Big\}\geqslant\mathbf{J}^{-1}=\Big\{\mathbb{E}\left[\frac{\partial^{2}\ln p(\mathbf{Y},\mathbf{\eta})}{\partial\mathbf{\eta}\partial\mathbf{\eta}^{\mathrm{T}}}\right]\Big\}^{-1} E{
(η−η^)(η−η^)T}⩾J−1={
E[∂η∂ηT∂2lnp(Y,η)]}−1,
对误差求外积是个矩阵:
1-对角线上的元素是各个分量的方差,描述了每个分量的估计误差的大小。
2-非对角线上的元素是不同分量之间的协方差,描述了它们之间的线性关系或相关性。
例子
假设我们有一个2维的参数向量 η = [ η 1 , η 2 ] T \mathbf{\eta} = [\eta_1, \eta_2]^{\mathrm{T}} η=[η1,η2]T ,和它的估计值 η ^ = [ η ^ 1 , η ^ 2 ] T \mathbf{\hat{\eta}} = [\hat{\eta}_1, \hat{\eta}_2]^{\mathrm{T}} η^=[η^1,η^2]T 。那么误差向量为 e = η − η ^ = [ e 1 , e 2 ] T \mathbf{e} = \mathbf{\eta} - \mathbf{\hat{\eta}} = [e_1, e_2]^{\mathrm{T}} e=η−η^=[e1,e2]T 。计算外积得到:
e e T = [ e 1 2 e 1 e 2 e 2 e 1 e 2 2 ] \mathbf{e}\mathbf{e}^{\mathrm{T}} = \begin{bmatrix} e_1^2 & e_1 e_2 \\ e_2 e_1 & e_2^2 \end{bmatrix} eeT=[e12e2e1e1e2e22]
估计的参数是 η \eta η(比如距离、速度和角度等),比如发射一个信号打到一个目标上,返回的信号就携带了关于这个目标信息。信号记作 Y \mathbf{Y} Y,服从一定概率的随机变量, η \eta η也是随机变量(列向量),拿到 Y \mathbf{Y} Y对 η \eta η作估计,记作 η ^ \hat{\eta} η^, 求MSE即 E { ( η − η ^ ) ( η − η ^ ) T } \mathbb{E}\Big\{(\mathbf{\eta}-\mathbf{\hat{\eta}})(\mathbf{\eta}-\mathbf{\hat{\eta}})^{\mathrm{T}}\Big\} E{ (η−η^)(η−η^)T},统计里MSE有下界,下界就是CRB(CRB是感知的性能极限),CRB的PDF越尖,包含目标的信息就越多,它的逆就是误差的bound(CRB的PDF多尖定义为Fisher Information,Fisher Information是联合分布 p ( Y , η ) p(\mathbf{Y},\mathbf{\eta}) p(Y,η),为什么是联合分布,这是一个贝叶斯的CRB)
为什么CRB 的 PDF 越尖,信息越多
1-费舍尔信息量 I ( η ) I(\mathbf{\eta}) I(η) 量化了参数 η \mathbf{\eta} η 对观测数据 Y \mathbf{Y} Y 的信息量。CRB(克拉美-罗界限)与费舍尔信息量的关系是:
CRB ( η ) = [ I ( η ) ] − 1 \text{CRB}(\mathbf{\eta}) = \left[I(\mathbf{\eta})\right]^{-1} CRB(η)=[I(η)]−1
2-当 PDF 更加尖锐时,它表示概率质量集中在某个窄小的区域内。这意味着观测数据对参数的估计有更高的确定性和更少的不确定性。在这种情况下,观测数据对参数 η \mathbf{\eta} η 提供了更多的信息。
3-从数学角度来看,PDF 越尖锐,意味着似然函数的对数梯度的方差越小。这可以通过费舍尔信息量的公式解释:
I ( η ) = E { ( ∂ log p ( Y ∣ η ) ∂ η ) ( ∂ log p ( Y ∣ η ) ∂ η ) T } I(\mathbf{\eta}) = \mathbb{E}\left\{ \left(\frac{\partial \log p(\mathbf{Y}|\mathbf{\eta})}{\partial \mathbf{\eta}}\right) \left(\frac{\partial \log p(\mathbf{Y}|\mathbf{\eta})}{\partial \mathbf{\eta}}\right)^{\mathrm{T}} \right\} I(η)=E{ (∂η∂logp(Y∣η))(∂η∂logp(Y∣η))T}
如果 PDF 很尖锐, ∂ log p ( Y ∣ η ) ∂ η \frac{\partial \log p(\mathbf{Y}|\mathbf{\eta})}{\partial \mathbf{\eta}} ∂η∂logp(Y∣η) 的方差较小(因为对参数的影响更加集中),这意味着 I ( η ) I(\mathbf{\eta}) I(η) 较大。
较大的费舍尔信息量 I ( η ) I(\mathbf{\eta}) I(η) 表明估计的误差界限 CRB 较小。
即 CRB 是费舍尔信息量的逆。费舍尔信息量越大,CRB 越小,表示估计的误差界限越小,估计器的精度越高。
联合分布 p ( Y , η ) p(\mathbf{Y},\mathbf{\eta}) p(Y,η)对 η ) \mathbf{\eta}) η)求二阶导取期望, [ ∂ 2 ln p ( Y , η ) ∂ η ∂ η T ] \left[\frac{\partial^{2}\ln p(\mathbf{Y},\mathbf{\eta})}{\partial\mathbf{\eta}\partial\mathbf{\eta}^{\mathrm{T}}}\right] [∂η∂ηT∂2lnp(Y,η)]叫Hessian矩阵(海森矩阵,Hessian矩阵求期望就是Fisher信息矩阵
),海森矩阵求期望再取逆叫做CRB matrix
,矩阵 { ( η − η ^ ) ( η − η ^ ) T } \Big\{(\mathbf{\eta}-\mathbf{\hat{\eta}})(\mathbf{\eta}-\mathbf{\hat{\eta}})^{\mathrm{T}}\Big\} {
(η−η^)(η−η^)T}在半正定意义上大于等于Hessian矩阵的逆,对 { ( η − η ^ ) ( η − η ^