概率论与数理统计--参数估计

点估计

点估计就是用一个具体的数去估计一个未知参数。
1. 矩估计法
设总体X的分布函数F(x,$\theta_1$,$\theta_1$,$\theta_1$…..,$\theta_l$)的形式已知，$\theta_1$,$\theta_1$,$\theta_1$…..,$\theta_l$为待估计参数，又假设总体X的前$l$阶矩（或中心矩）$a_k=E(X^k),k=1,2,...l$存在，一般情况下，$a_k$均为这$l$个参数的函数，记为

$$a_k=g_k(\theta_1,\theta_2,....,\theta_l),\ \ k=1,2,....,l$$
从这些方程求解

$$\theta_i=f_i(\alpha_1,\alpha_2,....,\alpha_l),\ \ k=1,2,....,l$$
参照书本原话，样本各阶矩反映了总体各阶矩的信息，因此，就用样本各阶矩去估计总体各阶矩，即用各个 $\alpha_k$的估计量 $A_k$分别代替上式中的各个 $\alpha_k$，即可得各个 $\theta_i$的估计量。
不再举例，自行百度。
2. 极大似然估计法
其基本思想是：一个随机试验有若干个可能的结果A,B,C，….，若在一次试验中结果A出现，则认为试验条件对A的出现有利，亦即使A出现的概率最大。
若 $f(x;\theta)$为总体X的概率密度， $\theta$为待估参数, $(X_1,X_2,....,X_n)$为一个样本,对给定的 $x_1,x_2,...,x_n$,称 $X_1,X_2,....,X_n$的联合概率密度 $\prod _{i=1}^n f(x_i;\theta)$为似然函数，记为
$$L(\theta)=\prod _{i=1}^nf(x_i;\theta)$$
称 $l(\theta)=lnL(\theta)$为对数似然函数。

若总体X的概率分布列为$p(x;\theta)$为，$\theta$为待估参数，$(X_1,X_2,....,X_n)$为一个样本,对给定的$x_1,x_2,...,x_n$,称$X_1,X_2,....,X_n$的联合分布律$\prod _{i=1}^n p(x_i;\theta)$为似然函数，记为

$$L(\theta)=\prod _{i=1}^np(x_i;\theta)$$
称 $l(\theta)=lnL(\theta)$为对数似然函数。

矩估计量的评选标准

1. 无偏性
   $$E(\hat{\theta} )=\theta$$
2. 有效性
   设$\hat{\theta_1}=\hat{\theta_1}(X_1,X_2,....,X_n)$和$\hat{\theta_2}=\hat{\theta_2}(X_1,X_2,....,X_n)$是参数$\theta$的两个无偏估计，若对一切$\theta\inΘ$，有
   $$D(\hat{\theta_1})<D(\hat{\theta_2})$$
   则称估计量$\hat{\theta_1}$比$\hat{\theta_2}$更有效。

参数估计

参数估计有两种方案：点估计和区间估计，二者互为补充，点估计值随样本观察值的变化而各有不同，但每次都给出一个明确的数值，从而在实际中常使用点估计对客观问题做出某种判断，但这种判断的可信度如何，点估计本身没有告诉我们，区间估计则解决了这个问题。
正太分布为常用分布，寻找其置信区间是常用到的问题，下面分几种情况来讨论。
1. 单个正太总体$N(\mu，\sigma^2)均值\mu$的置信区间
情形1：$\sigma^2$已知

$\overline{X}$是$\mu$的无偏估计，且$\overline{X}$~$N(\mu,\frac{\sigma^2}{n})$，故有

$$\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$$
根据标准正太分布上侧分为点的定义有：
$$P\{ -U(\frac{\alpha}{2})\leq\frac{\overline{X}-\mu}{\sigma/\sqrt{n}} \leq U(\frac{\alpha}{2}) \}=1-\alpha$$
所以 $\mu$的置信水平为 $1-\alpha$的置信区间(或区间估计)为
$$\left[\overline{X}- \frac{\sigma}{\sqrt{n}}U(\frac{\alpha}{2}) ，\overline{X}+ \frac{\sigma}{\sqrt{n}}U(\frac{\alpha}{2}) \right]$$
情形2： $\sigma^2$未知
选取另一变量：
$$\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$$
再由t分布的上侧位分点可得：
$$P\{ -t_{\frac{\alpha}{2}}(n-1)\leq\frac{\overline{X}-\mu}{S/\sqrt{n}}\leq t_{\frac{\alpha}{2}} (n-1)\}=1-\alpha$$
所以 $\mu$的置信水平为 $1-\alpha$的置信区间(或区间估计)为
$$\left[\overline{X}- \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)，\overline{X}+ \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)，\right]$$
2. 单个正太总体方差 $\sigma^2与标准差\sigma$的置信区间
3. 两个正太总体下的置信区间

总结：只要找对所对应的分布，找到置信区间点，区间估计就很简单的。