Interval estimation (Section 4.4)[@XiruChen]

0. Outlines

1. 区间构造原则
2. 置信系数；
3. 区间估计方法简介：(Confidence Interval v.s. Critical Interval)[@wiki_CI]
   
   • 小样本估计法（枢轴量法）
   • 大样本估计法(近似正态)
   • 非参数bootstrap法
   • 贝叶斯方法
4. 区间估计的评估

---

1. 区间估计构造原则

对于构造的估计区间$[\hat{\theta}_1(X_1,...,X_n),\hat{\theta}_2(X_1,...,X_n)]$:

• 可靠度：概率$P(\hat{\theta}_1(X_1,...,X_n) \le \theta \le \hat{\theta}_2(X_1,...,X_n))$ 尽可能大;
• 估计的精度尽可能高，如区间长度尽可能短；
• Neyman提出的原则：在保证可靠度时的前提下尽量使精度提高；

---

2. 置信系数(confidence coefficient)

(Def) 给定一个很小的数$\alpha>0$, 若$inf_{\theta} P(\hat{\theta}_1(X_1,...,X_n) \le \theta \le \hat{\theta}_2(X_1,...,X_n))= 1-\alpha$，那么称区间估计$[\hat{\theta}_1,\hat{\theta}_2]$的置信系数为$1-\alpha$；

Remarks:

• 有时上概率是直接取等的，而非求下确界；

---

3. 区间估计方法简介

3.1小样本估计法（枢轴量法）

枢轴量法条件

1. 找一个待估参数$g(\theta)$的统计量$T(X)$;
2. 寻找一个函数 $S(g(\theta),T)$,其分布$F$与$\theta$无关，成为枢轴变量(pivot)；
3. 对于给定的$\alpha$，取分布$F$的上、下$\alpha/2$分位点，反解Section1里的概率函数，即可得到置信系数为$1-\alpha$的区间估计；

经典例子

• 正态总体，$\sigma$已知，$\frac {\bar{X}-\mu} {\sigma/\sqrt{n}} \sim N(0,1);$
• 正态总体，$\sigma$未知，$\frac { \bar{X}-\mu} {s/\sqrt{n}} \sim t_{n-1};$
• 正态总体，$\sigma$未知，$\frac {(n-1)S^2}{\sigma^2} \sim \chi_{n-1}^2;$
• 两正态总体$X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$，i.i.d采样$(X_1,..,X_n),(Y_1,...,Y_m)$,那么$\frac {S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F_{n-1,m-1};$

3.2大样本估计法(近似正态)

利用极限分布（CLT）来建立枢轴量，这样条件2近似满足

3.3 非参数bootstrap法

3.4 贝叶斯方法

寻找区间$[\hat{\theta}_1,\hat{\theta}_2]$,s.t.
$\int_{\hat{\theta}_1}^{\hat{\theta}_2} h(\theta|\widetilde{X})d\theta =1-\alpha;$
相比枢轴量法，贝叶斯方法更简单，只要求出后验概率后，找到后验分布的最大值点，然后画横线同时往下下降，直到横线与后验分布的交点间的概率为$1-\alpha.$

---

References: