目录
题目
利用(3.23)式,证明Fisher信息矩阵 对所有
是半正定的。实际上,我们假定他是正定的,因而也是可逆的,尽管并不总是这样。考虑习题3.3中的数学模型,但将r修改为未知的,求
时的Fisher信息矩阵。是否存在使
不是正定的
值?
解答
半正定矩阵定义:
给定一个大小为n*n的实对称矩阵A,若对于任意长度为 n的向量x,有 恒成立,则矩阵A 是一个半正定矩阵。
参考:
证明Fisher信息矩阵是半正定
如果要从采集到的一组观测量:
而其概率密度函数存在r个待估计参数:
那么此时用来估计 的似然函数可以表示为:
由 的定义可以得到:
如果记矢量形式:
因此:
构造任意一个长度为r的列向量 ,可以得到:
又由于 为1*r维行向量,而
为r*1维列向量,因此:
为标量,于是可以得到:
因此,对照半正定矩阵的定义, 对所有
是半正定的。
证明完毕。
引申证明:所有协方差矩阵,都是半正定
根据上面的证明过程,我们很容易可以得到结论:概率论与数理统计中的所有协方差矩阵,都是半正定。
如果我们记:
那么协方差矩阵为:
对于任意长度的r维列向量 ,存在:
因此,协方差矩阵为半正定的。
习题3.3中Fisher信息矩阵
求解
对于题目中的另外一个问题:当 ,求
由习题3.3,可以得到其似然函数为:
下面用两种方法进行求解。
方法1:
利用:
得到:
而由于:
- 求
因此:
- 求
又由于:
因此:
- 求
因此:
或者也可以通过性质:
得到:
计算结果一致。
- 求
于是,最终得到:
方法2:
利用一般高斯情况的CRLB性质,即:
那么:
由于:
其中:
因此根据题目条件,可以得到:
于是:
由于 中不包含θ ,因此:
进一步得到 中加号后面一项为
。
而:
进一步得到:
最终得到:
通过比较,上述两种方式求解 一致。
不是正定情况讨论
特殊情况,当A=0 时:
显然, 的特征值不都大于0,因此
此时不是正定矩阵,而是半正定。
此时,由于A=0,因此在观测向量中,无法获得待估计量r的任何信息。
因此,存在使 不是正定的
值。
由特征值判断正定矩阵,参考: