统计信号处理基础 习题解答3-10

目录

题目

解答

半正定矩阵定义：

证明Fisher信息矩阵是半正定

引申证明：所有协方差矩阵，都是半正定

习题3.3中Fisher信息矩阵​求解

方法1：

方法2：

​ 不是正定情况讨论

---

题目

利用（3.23）式，证明Fisher信息矩阵 对所有 是半正定的。实际上，我们假定他是正定的，因而也是可逆的，尽管并不总是这样。考虑习题3.3中的数学模型，但将r修改为未知的，求  时的Fisher信息矩阵。是否存在使 不是正定的 值？

---

解答

半正定矩阵定义：

 给定一个大小为n*n的实对称矩阵A，若对于任意长度为 n的向量x，有 恒成立，则矩阵A 是一个半正定矩阵。

参考：

浅谈「正定矩阵」和「半正定矩阵」 - 知乎

麻省理工线性代数笔记（二十四）-正定矩阵 - 知乎

---

证明Fisher信息矩阵是半正定

如果要从采集到的一组观测量：

 而其概率密度函数存在r个待估计参数：

 那么此时用来估计 的似然函数可以表示为：

 ​​​​ 由 的定义可以得到：

 如果记矢量形式：

 因此：

 构造任意一个长度为r的列向量 ，可以得到：

 又由于 为1*r维行向量，而 为r*1维列向量，因此： 为标量，于是可以得到：

因此，对照半正定矩阵的定义， 对所有 是半正定的。

证明完毕。  

---

引申证明：所有协方差矩阵，都是半正定

根据上面的证明过程，我们很容易可以得到结论：概率论与数理统计中的所有协方差矩阵，都是半正定。

如果我们记：

  那么协方差矩阵为：

 对于任意长度的r维列向量 ，存在：

因此，协方差矩阵为半正定的。

---

习题3.3中Fisher信息矩阵求解

对于题目中的另外一个问题：当 ，求

由习题3.3，可以得到其似然函数为:

下面用两种方法进行求解。

方法1：

利用：

 得到：

 而由于：

•  求

 因此：

• 求

  又由于：

 因此：

•  求

 因此：

  或者也可以通过性质：

 得到：

计算结果一致。

• 求

 于是，最终得到：

方法2：

利用一般高斯情况的CRLB性质，即：

 那么：

 由于：

 其中：

因此根据题目条件，可以得到： 

 于是：

 由于 中不包含θ ，因此：

 进一步得到 中加号后面一项为。

​​​​​​​而：

 进一步得到：

 最终得到：

通过比较，上述两种方式求解 一致。

---

不是正定情况讨论

特殊情况，当A=0 时：

 显然， 的特征值不都大于0，因此 此时不是正定矩阵，而是半正定。

此时，由于A=0，因此在观测向量中，无法获得待估计量r的任何信息。

 因此，存在使 不是正定的 值。

 由特征值判断正定矩阵，参考：

正定矩阵_百度百科

​​​​​​​ 

​​​​​​​

​​​​​​​

​​​​​​​

​​​​​​​