【原创】极大似然估计中，信息矩阵、Hessian矩阵和协方差矩阵的关系

最新推荐文章于 2024-02-23 11:28:04 发布

anruoxi3236

最新推荐文章于 2024-02-23 11:28:04 发布

阅读量7.2k

点赞数 5

原文链接：http://www.cnblogs.com/xiaochen-qiu/p/11170487.html

版权

本文深入探讨了Fisher Information Matrix与负对数似然函数的Hessian矩阵之间的等价关系，以及在高斯分布假设下，Hessian如何与协方差矩阵的逆相关联。内容涵盖了线性和非线性情况下的分析，并指出在高斯牛顿法中，Hessian的近似值与信息矩阵和协方差矩阵的逆相关。

摘要由CSDN通过智能技术生成

1. Fisher Information Matrix 和 Hessian of Log Likelihood

这个博客根据Fisher Information的定义，非常清晰地证明了为什么Fisher Information Matrix和负的Hessian of log likelihood是相等的（关键步骤是二阶导运算符和积分可以互换位置！）。

2. Hessian of Negative Log Likelihood 和 Covariance Matrix

高斯分布假设下，maximum likelihood的等效结果是minimize negative log likelihood（根据高斯分布的概率密度函数可以看出）。同时注意到，negative log likelihood的二阶导数（也就是其Hessian），正好是协方差的逆，也就是说此Hessian of Negative Log Likelihood即Inverse of Covariance Matrix。
这个结论可以继续往下推广：
当高斯分布的均值是关于状态的线性函数时，negative log likelihood的二阶导数（也就是其Hessian），正好是这个线性变换后的新状态的的协方差的逆&#x