统计学第八周：参数统计

统计学：参数估计

概念

1.利用总体统计不方便甚至是无法完成的现实状况，采用抽样的方式，利用样本提供的信息来推断总体的特征。

2.点估计：point estimate, 用样本统计量的某个取值直接作为总体参数的估值。

但一个点估计值的可靠性是由它的抽样标准误差来衡量的，这表明一个具体的点估计值无法给出估计的可靠性的度量。

当围绕点估计值构造总体参数的一个区间，这就是区间估计。

3.区间估计：interval estimate ,在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。

根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。

在区间估计中，由样本统计量所构成的总体参数的估计区间称为置信区间，其中区间的最小值称为置信下限，最大值称为置信上限。

置信水平：将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例，称为置信水平 confidence level ，也称为置信度或置信系数。

如果用某种方法构造的所有区间中有95%的区间包含总体参数的真值，5%的区间不包括总体参数的真值，那么用该方法构造的区间称为置信水平位95%的置信区间。

4. 评价估计量的标准

   🔽无偏性：指估计量抽样分布的数学期望等于被估计的总体参数。
   $$设总体参数位\theta ,所选择的估计量为\vec{\theta },如果E(\vec{\theta })=\theta ,则称\vec{\theta }为\theta 的无偏估计量。$$

🔽有效性：一个无偏的估计量并不意味着它就非常接近被估计的参数，它还必须与总体参数的离散程度比较小。有效性efficiency是指对同一总体参数的两个无偏估计量，有更小标准差的估计量更有效。 在无偏估计的条件下，估计量的方差越小，估计就越有效。

🔽一致性：指随着样本量的增大，估计量的值越来越接近被估计总体的参数。

5. 一个总体参数的区间估计
研究一个总体时，关心的参数主要有总体均值，总体比例，总体方差等。那么如何用样本统计量来构造一个总体参数的置信区间。

5.1 总体均值的区间估计

在对总体均值进行区间估计时，需要考虑总体是否为正态分布，总体方差是否已知，用于构造估计量的样本是大样本（30及其以上），还是小样本等情况。
🔽1正态总体/方差已知，或非正态总体/大样本

当总体服从正态分布且方差已知时，或者总体不是正态分布但为大样本时，样本均值的抽样分布均为正态分布，其数学期望为总体均值
$$\mu ,方差为{\sigma }^2/n。而样本均值经过标准化以后的随机变量服从标准正态分布，$$

$$即z=\frac{\vec{x}-\mu }{\sigma /\sqrt{n}}服从N(0,1)$$

$$在上面公式和正态分布的性质可以看出总体均值\mu ，在1-a置信水平下的置信区间为\overline{x}\pm z_{a/2}\frac{\sigma }{\sqrt{n}}$$

$$\overline{x}-z_{a/2}\frac{\sigma }{\sqrt{n}}称为置信下限，\overline{x}+z_{a/2}\frac{\sigma }{\sqrt{n}}称为置信上限，a也称为风险值$$

$$它是总体均值不包括在置信区间内的概率；1-a称为置信水平；z_{a/2}是标准正态分布右侧面积为a/2时的z值；z_{a/2}\frac{\sigma }{\sqrt{n}}是估计总体均值时的估计误差estimateerror。$$

这就是总体均值的置信区间由两部分组成：点估计值和描述估计量精度的正负值，这个正负值称为估计误差。

如果总体服从正态分布但方差未知，或总体并不服从正态分布，只要是在大样本条件下，总体方差就可以用样本方差来代替，这时总体均值在1-a置信水平下的置信区间可以写为：
$$\overline{x}\pm z_{a/2}\frac{s}{\sqrt{n}},样本方差s^2$$
🔽 2正态总体，方差未知，小样本

如果总体服从正态分布，则无论样本量如何，样本均值的抽样分布都服从正态分布。这时只要总体方差已知，即使是在小样本的情况下，也可以按照上面建立总体均值的置信区间。但如果样本方差未知，而且是在小样本情况下，则需要用样本方差代替总体方差，这时样本均值经过标准化以后的随机变量服从自由度为（n-1）的t分布，即：
$$t=\frac{\overline{x}-\mu }{s/\sqrt{n}}服从t(n-1)分布$$
需要采用t分布来建立总体均值u的置信区间。根据t分布建立的总体均值u在1-a置信水平下的置信区间为：
$$\overline{x}\pm t_{a/2}\frac{s}{\sqrt{n}},t_{a/2}是自由度为n-1时，t分布中右侧面积为a/2时的t值。$$

总结：

5.2 总体比例的区间估计

在大样本情况下总体比例的估计问题，由样本比例p的抽样分布可知，当样本量足够大时，比例p的抽样分布可用正态分布近似。
$$P的数学期望E(P)=\pi ;p的方差为{\sigma }_p^2=\frac{\pi (1-\pi )}{n}。样本比例经标准化后的随机变量服从标准正态分布，即$$

$$z=\frac{p-\pi }{\sqrt{\pi (1-\pi )/n}}服从N（0，1）$$

与总体均值的区间估计类似，在样本比例P的基础上加减估计误差
$$z_{a/2}{\sigma }_p,即得总体比例\pi 在1-a置信水平下得置信区间为p\pm z_{a/2}\sqrt{\pi (1-\pi )/n}$$

$$用计算总体比例\pi 的置信区间时，\pi 值应该时已知的。但实际情况不然，\pi 值恰好是要估计的，所以需用样本比例p来代替\pi 。这时，总体比例的置信区间可表示为p\pm z_{a/2}\sqrt{p(1-p)/n}$$

$$式子中，a是显著性水平，z_{a/2}是标准正态分布右侧面积为a/2时的z值；z_{a/2}\sqrt{p(1-p)/n}是估计总体比例时的估计误差。$$

$$对于总体比例的估计，确定样本量足够大的一般经验规则时：区间p\pm 2\sqrt{p(1-p)/2}中不包含0或1，或者要求np\ge 5和n(1-p)\ge 5$$

5.3 总体方差的区间估计

针对正态总体方差的估计问题：根据样本方差的抽样分布可知，样本方差服从自由度为n-1的卡方分布构造总体方差的置信区间。

$$可推导出总体方差{\sigma }^2在1-a置信水平下的置信区间为，\frac{(n-1)s^2}{{\chi }_{a/2}^2}\le {\sigma }^2\le \frac{(n-1)s^2}{{\chi }_{1-a/2}^2}$$

6. 两个总体参数的区间估计

   6.1 两个总体均值之差的区间估计
   $$设两个总体的均值分别为{\mu }_1,{\mu }_2，从两个总体中分别抽取样本量n_1,n_2的两个随机样本，其样本均值分别为\overline{x_1},\overline{(}{x}_2)。两个总体均值之差{\mu }_1-{\mu }_2的估计量显然是两个样本的均值之差\overline{x_1}-overline{x}_2$$
   🔽 大样本的估计：如果两个样本是从两个总体中独立抽取的，即一个样本的元素与另一个样本中的元素相互独立，则成为独立样本independent sample 。如果两个总体 都为正态分布，或两个总体不服从正态分布但两个样本都为大样本（样本数均大于等于30），根据样本抽样的知识可知，两个样本均值之差的抽样分布服从期望值为
   $${\mu }_1-{\mu }_2,方差为（\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}）等正态分布，两个样本均值之差经标准化后服从标准正态分布，即z=\frac{(\overline{x_1}-\overline{x_2})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}},服从N（0，1）$$
   当两个总体的方差都已知时，两个总体均值之差在1-a置信水平下的置信区间为
   $$（\overline{x_1}-\overline{x_2}）\pm z_{a/2}\sqrt{{\sigma }_1^2/n1+{\sigma }_2^2/n2}$$
   当两个总体的方差均未知时，可用两个样本方差
   $$s_1^2,s_2^2来代替，这时，两个总体均值之差{\mu }_1-{\mu }_2在1-a置信水平下的置信区间为（\overline{x_1}-\overline{x_2}）\pm z_{a/2}\sqrt{s_1^2/n_1+s_2^2/n_2}$$
   🔽小样本的估计：在两个样本都为小样本的情况下，为估计两个总体的均值之差，需要做出一下假定（1）两个总体都服从正态分布；（2）两个随机样本独立分别抽自两个总体。这里分为两个情况，一种是两个总体方差已知，另一种时方差未知：

6.2 两个总体均值之差的估计：匹配样本

  使用匹配样本进行估计时，分为大样本条件，和小样本情况：

大样本条件，两个总体均值之差
$${\mu }_d={\mu }_1-{\mu }_2在1-a置信水平下的置信区间为\overline{d}\pm z_{a/2}\frac{{\sigma }_d}{\sqrt{n}},d表示两个匹配样本对应数据的插值；\overline{d}表示各差值的均值,{\sigma }_d表示各差值的标准差。当总体的{\sigma }_d未知时，可用样本差值的标准差s_d代替$$
小样本情况下，假定两个总体各观察值的配对差服从正态分布。两个总体均值之差
$${\mu }_d={\mu }_1-{\mu }_2在1-a置信水平下的置信区间为\overline{d}\pm t_{a/2}(n-1)\frac{s_d}{\sqrt{n}}$$
6.3 两个总体比例之差的区间估计

由样本比例的抽样分布可知，从两个二项总体中抽出两个独立的样本，则两个样本比例之差的抽样分布服从正态分布。两个样本的比例之差经标准化后服从标准正态分布，即
$$Z=\frac{(p_1-p_2)-({\pi }_1-{\pi }_2)}{\sqrt{\frac{{\pi }_1(1-\pi )}{n_1}+\frac{{\pi }_2(1-{\pi }_2)}{n_2}}}$$
当总体比例未知时，可用样本比例p1和p2来代替，因此正态分布建立的两个总体比例之差在1-a置信水平下的置信区间为：
$$（p_1-p_2）\pm z_{a/2}\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}}$$
6.4 两个总体方差比的区间估计
由于两个样本方差比的抽样分布服从
$$F(n_1-1,n_2-1)分布，因此可用F分布来构造两个总体方差比\frac{{\sigma }_1^2}{{\sigma }_2^2}的置信区间$$

7. 样本量的确定

   7.1 估计总体均值时样本量的确定

7.2 估计总体比例时样本量的确定