在网上摘录了一些资料mark一下。
1.Fisher信息阵
链接:https://www.zhihu.com/question/26561604/answer/33275982
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
首先我们看一下 Fisher Information 的定义:
假设你观察到 i.i.d 的数据 服从一个概率分布
,
是你的目标参数(for simplicity, 这里
是个标量,且不考虑 nuissance parameter),那么你的似然函数(likelihood)就是:
为了解得Maximum Likelihood Estimate(MLE),我们要让log likelihood的一阶导数得0,然后解这个方程,得到
这个log likelihood的一阶导数也叫,Score function :
那么Fisher Information,用表示,的定义就是这个Score function的二阶矩(second moment)
。
一般情况下(under specific regularity conditions)可以很容易地证明,, 从而得到:
于是得到了Fisher Information的第一条数学意义:就是用来估计MLE的方程的方差。它的直观表述就是,随着收集的数据越来越多,这个方差由于是一个Independent sum的形式,也就变的越来越大,也就象征着得到的信息越来越多。
而且,如果log likelihood二阶可导,在一般情况下(under specific regularity conditions)可以很容易地证明:
于是得到了Fisher Information的第二条数学意义:log likelihood在参数真实值处的负二阶导数的期望。这个意义好像很抽象,但其实超级好懂。
首先看一下一个normalized Bernoulli log likelihood长啥样:
![I^{-1}(\theta)](https://i-blog.csdnimg.cn/blog_migrate/d6a2d12ee33568404a87412d6e30cbe9.png)
![I^*(\theta)](https://i-blog.csdnimg.cn/blog_migrate/58ac0fd9cececbc9230674c05753f0c8.png)
![I^*(\theta) = I(\theta)/n](https://i-blog.csdnimg.cn/blog_migrate/58ac0fd9cececbc9230674c05753f0c8.png+%3D+I%28%5Ctheta%29%2Fn)
2.自然梯度