概率论与数理统计——参数估计

---

点估计

点估计
设θ是总体$X$的未知参数，用统计量$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdot \cdot \cdot X_n)$来估计θ，称$\hat{\theta }$为θ的估计量，对于样本的一组观察值$x_1,x_2,\cdot \cdot \cdot x_n$，代入$\hat{\theta }$的表达式中所得到的具体数值称为θ的估计值，这样的方法称为参数的点估计。


矩估计
用样本矩去估计相应总体矩，或者用样本矩的函数去估计总体矩的同一函数的估计方法就是矩估计。
设总体$X$的概率分布含有m个未知参数${\theta }_1,{\theta }_2,\cdot \cdot \cdot {\theta }_m$，假设总体的k阶原点矩存在，记${\mu }_k=E(X^k)(k=1,2,\cdot \cdot \cdot ,m)，A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$，为样本的k阶矩，令

        ${\mu }_k({\theta }_1,{\theta }_2,\cdot \cdot \cdot ,{\theta }_m)=A_k(k=2,3,\cdot \cdot \cdot ,m)$.

则方程组的解$(\widehat{{\theta }_1,\hat{{\theta }_2},\cdot \cdot \cdot ,\hat{{\theta }_m}})$称为参数$({\theta }_1,{\theta }_2,\cdot \cdot \cdot ,{\theta }_m)$的估计量，矩估计量的观察值称为矩估计值。


最大似然估计（极大似然估计）
（1）设总体$X$的概率分布为$p(x,\theta )$(当$X$为连续型时，其为概率密度函数，当$X$为离散型是，其为分布律)，$\theta =({\theta }_1,{\theta }_2,\cdot \cdot \cdot ,{\theta }_m)$为未知参数$x_1,x_2,\cdot \cdot \cdot ,x_n$为样本观察值。

        $L(x_1,\cdot \cdot \cdot ,x_1,\theta )={\prod }_{i=1}^{n}p(x_i;\theta )=L(\theta )$,

称为$\theta$的似然函数。

（2）对给定的$x_1,\cdot \cdot \cdot ,x_n$，使似然函数达到最大值的$\hat{\theta }(x_1,\cdot \cdot \cdot ,x_n)$称为$\theta$的最大似然估计值，相应地$\hat{\theta }(X_1,\cdot \cdot \cdot ,X_n)$称为$\theta$的最大似然估计量。

（3）最大似然估计的常用求解方法，由于$lnL(\theta )$与$L(\theta )$有相同的最大值点，若$L(\theta )$可导，则可由方程组

        $\frac{\partial lnL({\theta }_1,{\theta }_2,\cdot \cdot \cdot ,{\theta }_m)}{\partial {\theta }_i}=0(i=1,2,\cdot \cdot \cdot ,m)$，

求出${\theta }_i$的最大似然估计量，需注意的是这一方法并不是都有效的，对于有些似然函数，其驻点或导数不存在，这时应考虑其他方法求似然函数的最大值点。

---

估计量的评选标准

无偏性
设$X_1,X_2,\cdot \cdot \cdot ,X_n$为来自总体$X$的样本，$\hat{\theta }$为$\theta$的一个估计量，如果$E(\hat{\theta })=\theta$成立，则称估计量$\hat{\theta }$为参数$\theta$的无偏估计。


有效性
设${\hat{\theta }}_1$，${\hat{\theta }}_2$都为参数$\theta$的无偏估计量，若$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$，则称${\hat{\theta }}_1$比${\hat{\theta }}_2$有效。
特别地，若对于$\theta$的任一无偏估计$\hat{\theta }$，有

        $D({\hat{\theta }}_1)\le D(\hat{\theta })$

则称${\hat{\theta }}_1$是$\theta$的最小方差无偏估计（最佳无偏估计）。


一致性
设$\hat{\theta }$为未知参数$\theta$的估计量，若对任意给定的$\epsilon >0$，都有

         lim ⁡ x → ∞ P { ∣ θ ^ − θ ∣ < ε } = 1 \lim_{x\rightarrow \infty}P\{|\hat{\theta}-\theta|<\varepsilon\}=1 limx→∞​P{∣θ^−θ∣<ε}=1

即$\hat{\theta }$依概率收敛于参数$\theta$，则$\hat{\theta }$称为$\theta$的一致估计或相合估计。

---

区间估计

区间估计
设$\theta$为总体的未知数，${\hat{\theta }}_1$，和${\hat{\theta }}_2$均为估计量，若对于给定的a(0<a<1), 满足 P { θ ^ 1 ≤ θ ≤ θ ^ 2 } = 1 − a P\{\hat{\theta}_1≤\theta≤\hat{\theta}_2\}=1-a P{θ^1​≤θ≤θ^2​}=1−a，则称$[{\hat{\theta }}_1,{\hat{\theta }}_2]$为$\theta$的置信度为1-a的置信区间，通过构造一个置信区间对未知，参数进行估计的方法称为区间估计。


单个正态总体的区间估计
（1）当${\sigma }^2$已知时，$\mu$的置信度为1-a的置信区间为

        $[\bar{X}-\frac{\sigma }{\sqrt{n}}{u}_{\frac{a}{2}},\bar{X}+\frac{\sigma }{\sqrt{n}}{u}_{\frac{a}{2}}]$  ($u$为正态分布)

（2）当${\sigma }^2$未知时，$\mu$的置信度为1-a的置信区间为

        $[\bar{X}-\frac{S}{\sqrt{n}}{t}_{\frac{a}{2}}(n-1),\bar{X}+\frac{S}{\sqrt{n}}{t}_{\frac{a}{2}}(n-1)]$  ($S^2$为样本方差,$t$为$t$分布)

（3）当$\mu$已知时，${\sigma }^2$的置信度为1-a的置信区间为

        $[\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{a}{2}}^2(n)},\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{a}{2}}^2(n)}]$  (${\chi }^2$为${\chi }^2$分布(卡方分布))

（4）当$\mu$未知时，${\sigma }^2$的置信度为1-a的置信区间为

        $[\frac{(n-1)S^2}{{\chi }_{\frac{a}{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{a}{2}}^2(n-1)}]$  ($S^2$为样本方差，${\chi }^2$为${\chi }^2$分布(卡方分布))


双正态总体的区间估计

设$X$~$N({\mu }_1,{\sigma }_1^2)$，$X_1,X_2,\cdot \cdot \cdot X_{n_1}$为其样本， $Y$~$N({\mu }_2,{\sigma }_2^2)$，$Y_1,Y_2,\cdot \cdot \cdot ,Y_{n_2}$为其样本，且$X$与$Y$独立。
（1）${\sigma }_1^2,{\sigma }_2^2$都为已知：${\mu }_1-{\mu }_2$的1-a置信区间为

        $[\bar{X}-\bar{Y}-u_{\frac{a}{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},\bar{X}-\bar{Y}+u_{\frac{a}{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$

（2）${\sigma }_1^2,{\sigma }_2^2$都为未知：${\mu }_1-{\mu }_2$的1-a置信区间为

        $[\bar{X}-\bar{Y}-t_{\frac{a}{2}}(\gamma )\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}},\bar{X}-\bar{Y}+t_{\frac{a}{2}}(\gamma )\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}]$

其中$\gamma =[\frac{(\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}{)}^2}{\frac{(\frac{S_1^2}{n_1}{)}^2}{n_1-1}+\frac{(\frac{S_2^2}{n_2}{)}^2}{n_2-1}}]$(取整)
特殊情况
1）${\sigma }_1^2,{\sigma }_2^2$都为未知，但$n_1,n_2$较大时：${\mu }_1-{\mu }_2$的1-a置信区间为

        $[\bar{X}-\bar{Y}-u_{\frac{a}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}},\bar{X}-\bar{Y}+u_{\frac{a}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}]$

2）${\sigma }_1^2={\sigma }_2^2={\sigma }^2$未知：${\mu }_1-{\mu }_2$的1-a置信区间为

        $[\bar{X}-\bar{Y}-t_{\frac{a}{2}}{S}_{\omega }\sqrt{\frac{1}{n_1}+\frac{S_2^2}{n_2}},\bar{X}-\bar{Y}+t_{\frac{a}{2}}{S}_{\omega }\sqrt{\frac{1}{n_1}+\frac{S_2^2}{n_2}}]$

其中$S_{\omega }^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$,t分布为(n_1+n_2-2)

3）${\mu }_1,{\mu }_2$已知：$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的1-a置信区间为

        $[\frac{\frac{1}{n_1}{\sum }_{i=1}^{n_1}(X_i-{\mu }_1{)}^2}{\frac{1}{n_2}{\sum }_{j=1}^{n_2}(Y_j-{\mu }_2{)}^2}{F}_{1-\frac{a}{2}}(n_2,n_1),\frac{\frac{1}{n_1}{\sum }_{i=1}^{n_1}(X_i-{\mu }_1{)}^2}{\frac{1}{n_2}{\sum }_{j=1}^{n_2}(Y_j-{\mu }_2{)}^2}{F}_{\frac{a}{2}}(n_2,n_1)]$  ($F$为$F$分布)

---