Fisher Information

1. The Likelihood

• 似然函数: 设$X$的p.d.f.为$f(x;\theta)$，其中$\theta$为参数，i.i.d.样本$\widetilde{X}=(X_1,...,X_n)$,那么似然函数为：
  $$L(\theta;\widetilde{x})= \prod_{i=1}^n f(x_i;\theta).$$
• 对数似然函数: $l(\theta)= log L(\theta;\widetilde{x}).$
• 计分函数(Score function): $S(\theta)= \frac{\partial}{\partial \theta} l(\theta).$

Remarks:(Property of the score function):
1. $S(\hat{\theta}_{MLE})=0$;
2. (Thm) 在正则性条件下，$E_{\theta}[S(\theta)]=0$;

---

2. Fisher Information

关键词： 观测Fisher信息量 期望Fisher信息量
* Fisher Information [@wiki_Fisher_information]：$I(\theta)= -\frac{\partial^2}{\partial \theta^2} l(\theta).$

Remarks:(Property of the Fisher information):

1. 记$I(\hat{\theta}_{MLE})$为观测Fisher信息量(observed Fisher information),是一个值而非函数；
2. 期望Fisher信息量(Expected Fisher information)定义为：$\mathcal{I}(\theta)=E_{\theta}[I(\theta)]=-E_{\theta}\{\frac{\partial^2}{\partial \theta^2} l(\theta)\}$;
3. (Thm) 在正则性条件下,