目录
9.5 The Rao–Blackwell Theorem and Minimum-Variance Unbiased Estimation
9.7 The Method of Maximum Likelihood
9.8 Some Large-Sample Properties of Maximum-Likelihood Estimators (Optional)
-
9.1 Introduction
-
9.2 Relative Efficiency
-
定义:
-
-
9.3 Consistency
-
定义:
-
定理:
-
-
9.4 Sufficiency
-
Sufficient 定义:
-
Likelihood 定义:
-
定理:
-
-
9.5 The Rao–Blackwell Theorem and Minimum-Variance Unbiased Estimation
-
Rao-Blackwell 定义:
- 提供了一个 sufficient statistic 和 unbiased estimator 之间的连接
- 一个
是θ的非偏估计,然后U是
的sufficient statistic,那么U的一个函数也是θ的非偏估计,且U的方差更小。因此我们可以通过这个定理得到θ的更优非偏估计。
- 具体步骤:1. 求出sufficient statistic U,2. 寻找h(U),使得E[h(U)]=θ。
-
MVUE 定义:
- Minimum-variance unbiased estimator 最小方差非偏估计
-
例题:
- Y1, ..., Yn是伯努利变量,已知P(Yi=1)=p, P(y1=0)=1-p。求p的MVUE。
- 解:
- 1. 求sufficient statistic U:
- 2.
- 所以
是p的MVUE。
- 1. 求sufficient statistic U:
-
-
9.6 The Method of Moments
- 思想很简单,样本的秩应该是总体的秩的一个很好的估计。
- 随机变量的第k个秩:
- 对应的第k个样本秩:
- 随机变量的第k个秩:
-
定义:
-
例题:
- Y1, ..., Yn取自(0,θ)区间内的均分分布。θ未知,需要估计θ。
- Y1, ..., Yn取自(0,θ)区间内的均分分布。θ未知,需要估计θ。
-
总结:
- 很方便,计算出的估计都是consistent的。但是这些估计通常不是sufficient statistic的函数,所以不是很efficient(会比别的方法算出来的估计拥有更大的方差),有的时候甚至是biased的。
- 思想很简单,样本的秩应该是总体的秩的一个很好的估计。
-
9.7 The Method of Maximum Likelihood
-
定义:
- 一个很好的贴子:🔗
-
-
9.8 Some Large-Sample Properties of Maximum-Likelihood Estimators (Optional)