这篇博客介绍了统计推断的基础知识，包括估计原理、效率与克拉美-劳不等式，以及充分统计量的概念。文章详细阐述了似然函数、Fisher信息和有效估计，探讨了Cramer-Rao不等式在估计效率中的应用，并解释了充分统计量的定义及其在减少方差中的作用。
0. 背景介绍
统计推断是对来自总体（population）的嘈杂样本（noisy sample）得出结论的过程。两大工具是估计和假设检验。
与概率论不同的是，概率论中的参数（parameter）都是已知的，然而统计中的参数是未知的。
经典统计推断(如下图）
| 点估计 | 置信区间估计 | 假设检验 |
|---|---|---|
| eg.最大似然估计 | t,chi-squared… | |
| 矩估计法 |
1. 估计原理
似然函数（likelihood function）是 x 1 x_{1} x1… x n x_{n} xn的联合分布函数。 L ( x ⃗ , θ ) = f x ⃗ ( x ⃗ ∣ θ ) = ∏ i = 1 n f ( x i ∣ θ ) L(\vec{x},\theta)=f_{\vec{x}} (\vec{x}|\theta)=\prod_{i=1}^{n}f(x_{i}|\theta) L(x,θ)=fx(x∣θ)=∏i=1nf(xi∣θ)
Log-likelihood function : l ( x ⃗ , θ ) l o g L ( x ⃗ , θ ) l(\vec{x},\theta)log L(\vec{x},\theta) l(x,θ)logL(x,θ)
Score function U = ∂ l ∂ θ U= \frac{\partial l}{\partial \theta} U=∂θ∂l
Fisher information I ( θ ) = E ( − ∂ 2 l ∂ θ 2 ) I(\theta)=E(-\frac{\partial ^{2} l}{\partial \theta^{2}})
最低0.47元/天 解锁文章
221
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
