实用统计分析学期末复习

应用统计期末复习

1. Matlab 矩阵寻访，剪裁，拼接

A = [1 2; 3 4]

1. 取第二行 A(2, :)
   
2. 取第二列 A(:, 2)
   
3. 将第二行第二列元素赋值为 5 A(2, 2) = 5
   
4. 右边拼接 2 行 1 列的全一矩阵 [A, ones(2, 1)]
   
5. 下面拼接 2 行 2 列的全零矩阵 [A; zeros(2, 2)] or [A; zeros(2)]
   
6. 删除第 2 列元素 A(:, 2) = []
   

2. 常见概率密度分布

2.1 常见函数类型名称

1. 概率密度函数 pdf
2. 累积分布函数 cdf
3. 逆累积分布函数 inv
   求随机变量 $X$ 在 $x$ 点处的分布函数的反函数值 $x=F^{-1}(y)$
4. 均值与方差计算函数 stat
5. 随机数生成函数 rnd

2.2 常见分布类型名称

1. 正态分布 norm
   $$\begin{gathered} f(x)=\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-\mu {)}^2}{2{\delta }^2}} \\ E(X)=\mu \\ D(X)={\delta }^2 \end{gathered}$$
2. 指数分布 exp
   $$\begin{gathered} f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-\frac{x}{\theta }},& x>0\\ 0,& \text{else}\end{array} \\ F(X)=\{\begin{array}{ll}1-e^{-\frac{x}{\theta }},& x>0\\ 0,& \text{else}\end{array} \\ E(X)=\theta \\ D(X)={\theta }^2 \end{gathered}$$
   推导：https://blog.csdn.net/saltriver/article/details/53982885
3. 均匀分布 unif
   $$\begin{gathered} f(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& \text{ else }\end{array} \\ F(X)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array} \\ E(X)=\frac{a+b}{2} \\ D(X)=\frac{(b-a{)}^2}{12} \end{gathered}$$
4. 二项分布 bino
   $P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$
   $E(X)=np$
   $D(X)=np(1-p)$
   推导：https://blog.csdn.net/s20091103372/article/details/39716761
5. 泊松分布 poiss
   $$\begin{gathered} f(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda } \\ F(X\le x)=\sum _{k=0}^x\frac{{\lambda }^k}{k!}{e}^{-\lambda } \\ E(X)=D(X)=\lambda \end{gathered}$$
   推导：https://blog.csdn.net/saltriver/article/details/52969014

2.3 Matlab 具体函数命名规则

函数名 = 分布类型名称 + 函数类型名称 (除了poisstat)

1. poisspdf(5, 2) 表示随机变量服从 $\lambda =2$ 的泊松分布在 x = 5 的概率密度值 p = P(x=5)
   

2. normcdf(0.5, 0, 1) 表示随机变量服从 $\mu =0,\sigma =1$ 的正态分布，在 x = 0.5 处的分布函数值 y = F(x = 0.5)
   

3. [m, v] = normstat(0, 5) 给出正态分布 $\mu =0,\sigma =5$，求其均值 m 和方差 v
   

2.3.1 $\alpha$ 分位数

1. 计算标准正态分布的 $0.05$ 分位数，下侧 $\alpha$ 分位数
   norminv(0.05, 0, 1)
   
2. 计算标准正态分布的 $0.05$ 分位数， 上侧 $\alpha$ 分位数
   norminv(0.95, 0, 1)
   
3. 计算标准正态分布的 $0.05$ 分位数， 双侧 $\alpha /2$ 分位数
   norminv(0.025, 0, 1)

norminv(0.975, 0, 1)
   

2.3.2 练习

1. 计算参数为 2 的指数分布在 1 处的密度函数值，累积分布函数值；
   p = exppdf(1, 2) % 概率密度函数
y = expcdf(1, 2) % 累积分布函数
   

2. 计算参数为 30，0.3 的二项分布在 9 处的累积分布函数值；
   y = binocdf(9, 30, 0.3)
   

3. 计算参数为 3 的泊松分布在 0.5 处的逆累积分布函数值；
   x = poissinv(0.5, 3)
   

4. 计算参数为 1，2 的正态分布的数学期望和方差；
   [m, v] = normstat(1, 2)
   

5. 模拟生成参数为 2，4 的正态分布随机数 2 行 6 列；
   A = normrnd(2, 4, [2, 6])

2.4 抽样分布

2.4.1 ${\chi }^2$ 卡方分布

假设 $X_1,X_2,...,X_n$ 是 n 个相互独立的标准正态分布 $N(0,1)$ 随机变量，则
$${\chi }^2=\sum _{i=1}^n{X}_i^2\sim {\chi }^2(n)$$
${\chi }^2$ 叫做自由度为 n 的卡方分布

2.4.2 t 分布

假设 $X\sim N(0,1),Y\sim {\chi }^2(n)$，且 X 和 Y 相互独立，则
$$t=\frac{X}{\sqrt{\frac{Y}{n}}}\sim t(n)$$
t 叫做自由度为 n 的 t 分布

2.4.3 F 分布

假设 $X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，且 X 与 Y 相互独立，则
$$F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$$
F 叫做自由度为 $n_1,n_2$ 的 F 分布，其中 $n_1,n_2$ 分别叫做第一自由度和第二自由度。

F 分布有以下重要性质：
倒数对称性
$$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$$

2.4.4 U 分布（样本均值分布）

设 $X_1,X_2,...,X_n$ 是来自总体 $N(\mu ,{\delta }^2)$ 的样本，则
$$\begin{gathered} \bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\sim N(\mu ,\frac{{\delta }^2}{n}) \\ U=\frac{\bar{X}-\mu }{\delta /\sqrt{n}}\sim N(0,1) \end{gathered}$$

2.5 补充

2.5.1 若 $X\sim N(0,1)$， 则 $X^2\sim {\chi }^2(1)$

2.5.2 若 $X\sim t(n)$，则 $X^2\sim F(1,n)$

证明：
若 $X\sim t(n)$，则存在 $Y\sim N(0,1),Z\sim {\chi }^2(n)$，Y 和 Z 相互独立，使得
$$X=\frac{Y}{\sqrt{Z/n}}$$
又因为 $Y^2\sim {\chi }^2(1)$，则
$$X^2=\frac{Y^2}{Z/n}=\frac{Y^2/1}{Z/n}\sim F(1,n)$$

2.5.3 例题

例：$X_1,X_2,...,X_9$ 是来自 $X\sim N(0,2^2)$ 的简单随机样本，求系数 $a,b,c$ 使得
$$Y=a(X_1+X_2{)}^2+b(X_3+X_4+X_5{)}^2+c(X_6+X_7+X_8+X_9{)}^2$$
Y 服从卡方分布，并求其自由度。
证明：
由 $X\sim N(0,4)$,

可得
$E(X_1+X_2)=E(X_1)+E(X_2)=0$ ，
$D(X_1+X_2)=D(X_1)+D(X_2)=8$，

所以
$X_1+X_2\sim N(0,8)$

标准化可得
$$\frac{X_1+X_2-0-0}{\sqrt{8}}\sim N(0,1)$$
所以由卡方分布定义可得
$$\frac{(X_1+X_2{)}^2}{8}\sim {\chi }^2(1)\Rightarrow a=\frac{1}{8}$$
同理可得
$$b=\frac{1}{12},c=\frac{1}{16}$$

3. 统计估计

3.1 点估计-极大似然估计

求极大似然估计（MLE）的步骤为：
（1）由总体的概率密度写出似然函数
$$L(\theta )=L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$
（2）求出对数似然函数 $lnL(\theta )$
（3）求解方程得到 $\hat{\theta }$ $$\frac{dlnL(\theta )}{d\theta }=0$$

3.2 区间估计

3.2.1 两个总体均值差 ${\mu }_1-{\mu }_2$ 的置信区间

3.2.1.1 方差 ${\delta }_1^2,{\delta }_2^2$ 已知时 （U 分布）

$$\bar{X}-\bar{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\delta }_1^2}{n_1}+\frac{{\delta }_2^2}{n_2})$$
取枢轴量
$$U=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\delta }_1^2}{n_1}+\frac{{\delta }_2^2}{n_2}}}\sim N(0,1)$$
${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 的置信区间（比如说置信度为 95%，也就是说 $1-\alpha$ 为 0.95 ）为
$$(\bar{X}-\bar{Y}-U_{\frac{\alpha }{2}}\sqrt{\frac{{\delta }_1^2}{n_1}+\frac{{\delta }_2^2}{n_2}},\bar{X}-\bar{Y}+U_{\frac{\alpha }{2}}\sqrt{\frac{{\delta }_1^2}{n_1}+\frac{{\delta }_2^2}{n_2}})$$

3.2.1.2 方差 ${\delta }_1^2={\delta }_2^2={\delta }^2$ 未知但相等 （t 分布）

${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 的置信区间为
$$(\bar{X}-\bar{Y}-t_{\frac{\alpha }{2}}(n_1+n_2-2)\bullet S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\bar{X}-\bar{Y}+t_{\frac{\alpha }{2}}(n_1+n_2-2)\bullet S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})$$
其中 $S_w$ 为
$$\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}}$$
$S_1^2,S_2^2$ 分别为两个样本的样本方差。

3.2.2 两个总体方差比 $\frac{{\delta }_1^2}{{\delta }_2^2}$ 的置信区间 （F 分布）

$\frac{{\delta }_1^2}{{\delta }_2^2}$ 的 $1-\alpha$ 的置信区间为
$$(\frac{S_1^2}{S_2^2}\frac{1}{F_{\frac{\alpha }{2}}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)})$$

4. 假设检验

4.1 两个正态总体的均值和方差相等的检验

4.1.1 两个正态总体均值的检验，${\delta }_1^2={\delta }_2^2$ 未知的情况 （t 分布）

$H_0$ 统计量为
$$T=\frac{\bar{X}-\bar{Y}}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$
其中 $S_w$ 为
$$\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}}$$
$H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1\ne {\mu }_2$ 称为双边检验，$H_0$ 拒绝域为 $|T_0|\ge t_{\frac{\alpha }{2}}(n_1+n_2-2)$
$H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1>{\mu }_2$ 称为右边检验，$H_0$ 拒绝域为 $T_0\ge t_{\alpha }(n_1+n_2-2)$
$H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1<{\mu }_2$ 称为左边检验，$H_0$ 拒绝域为 $T_0\le -t_{\alpha }(n_1+n_2-2)$

4.1.2 两个正态总体方差相等的检验，${\delta }_1^2={\delta }_2^2$ （F 分布）

$H_0$ 统计量为
$$F=\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1)$$
$H_0:{\delta }_1^2={\delta }_2^2,H_1:{\delta }_1^2\ne {\delta }_2^2$ 称为双边检验，$H_0$ 拒绝域为 $F_0\ge F_{\frac{\alpha }{2}}(n_1-1,n_2-1)$ 或 $F_0\le F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)$
$H_0:{\delta }_1^2={\delta }_2^2,H_1:{\delta }_1^2>{\delta }_2^2$ 称为右边检验，$H_0$ 拒绝域为 $F_0\ge F_{\alpha }(n_1-1,n_2-1)$
$H_0:{\delta }_1^2={\delta }_2^2,H_1:{\delta }_1^2<{\delta }_2^2$ 称为左边检验，$H_0$ 拒绝域为 $F_0\le F_{1-\alpha }(n_1-1,n_2-1)$

4.2 列联表的独立检验

先求出 ${\chi }_0^2$
$${\chi }_0^2=\frac{(f_{11}-\frac{sum(i_1)\times sum(j_1)}{N}{)}^2}{\frac{sum(i_1)\times sum(j_1)}{N}}+\frac{(f_{12}-\frac{sum(i_1)\times sum(j_2)}{N}{)}^2}{\frac{sum(i_1)\times sum(j_2)}{N}}+...+\frac{(f_{nm}-\frac{sum(i_n)\times sum(j_m)}{N}{)}^2}{\frac{sum(i_n)\times sum(j_m)}{N}}$$
其中，$f_{ij}$ 为表格第 $i$ 行第 $j$ 列数据，$sum(i_1)$ 表示第 1 行数据的和，$sum(j_1)$ 表示第 1 列数据求和，$N$ 表示所有数据的和。

与 ${\chi }_{\alpha }^2((n-1)(m-1))$ 相比较，

$H_0:两个分类变量之间相互独立,H_1:两个分类变量之间不独立$，若 ${\chi }_0^2\ge {\chi }_{\alpha }^2((n-1)(m-1))$，拒绝原假设 $H_0$，即两个分类变量之间不相互独立（两个分类变量有联系）。

${\chi }_0^2$ 越大，两个分类变量之间有联系的可能性就越大。

特殊情况

$${\chi }^2=\frac{n(ad-bc{)}^2}{(a+c)(b+d)(a+b)(c+d)}$$

5. 方差分析

5.1 单因子方差分析的思想和单因子方差分析表

5.1.1 单因子方差分析的步骤

1）总偏差平方和的分解

试验考察的因素 $A$ 有 $s$ 个水平，在水平 $A_j(j=1,2,...,s)$ 下，进行了 $n_j(n_j\ge 2)$ 次实验。

设数据总平均为
$$\bar{X}=\frac{1}{n}\sum _{j=1}^s\sum _{i=1}^{n_j}{X}_{ij},其中总样本数n=\sum _{j=1}^s{n}_j$$

引入 $SST$ 总偏差平方和（又称总变差）
$$SST=\sum _{j=1}^s\sum _{i=1}^{n_j}(X_{ij}-\bar{X}{)}^2$$

记水平 $A_j$ 下的样本均值为 ${\bar{X}}_{\bullet j}$，即
$${\bar{X}}_{\bullet j}=\frac{1}{n_j}\sum _{i=1}^{n_j}{X}_{ij}$$

因为
$$SST=\sum _{j=1}^s\sum _{i=1}^{n_j}(X_{ij}-\bar{X}{)}^2=\sum _{j=1}^s\sum _{i=1}^{n_j}[(X_{ij}-{\bar{X}}_{\bullet j})+({\bar{X}}_{\bullet j}-\bar{X}){]}^2$$

记
$$\begin{gathered} SST=SSE+SSA \\ SSE=\sum _{j=1}^s\sum _{i=1}^{n_j}(X_{ij}-{\bar{X}}_{\bullet j}{)}^2 \\ SSA=\sum _{j=1}^s\sum _{i=1}^{n_j}({\bar{X}}_{\bullet j}-\bar{X}{)}^2 \end{gathered}$$

称 $SSE$ 为误差平方和，反应随机误差引起的波动，也称组内偏差平方和。
称 $SSA$ 为效应平方和，反应因素 $A$ 的水平变化引起的波动，也称组间偏差平方和或者因素平方和。

2）计算自由度和方差（平均偏差平方和）

$SST$ 的自由度为 $f_T=n-1$
$SSA$ 的自由度为 $f_A=s-1$
$SSE$ 的自由度为 $f_e=n-s$

$f_e可以通过f_e=f_T-f_A求出$

求出 $SSA$ 和 $SSE$ 的平均值：
$$\begin{gathered} MSA=SSA/f_A \\ MSE=SSE/f_e \end{gathered}$$

$MSA$ 称为组间方差，
$MSE$ 称为组内方差。

3）显著性检验

$H_0:{\mu }_1={\mu }_2=...={\mu }_s，H_1:{\mu }_1,{\mu }_2,...,{\mu }_s$ 不全相等

统计量 $F_0$
$$F_0=\frac{SSA/(s-1)}{SSE/(n-s)}=\frac{MSA}{MSE}\sim F(s-1,n-s)$$

若 $F_0\ge F_{\alpha }$，则拒绝原假设，即认为因素 $A$ 对试验结果有显著影响；
若 $F_0<F_{\alpha }$，则接受原假设，即认为因素 $A$ 对试验结果无显著影响。

检验水平 $\alpha$ 的选取视具体情况而定，通常取 $\alpha =0.01,\alpha =0.05$，
若 $F_0\ge F_{0.01}$ ，判定因素 $A$ 为高度显著，
若 $F_{0.01}>F_0\ge F_{0.05}$ ，判定因素 $A$ 为显著，
若 $F_0<F_{0.05}$ ，判定因素 $A$ 为不显著，

4）列出方差分析表

方差来源	偏差平方和	自由度	方差	F值	$F_{\alpha }$	显著性
因素A（组间）	SSA	s - 1	$MSA=\frac{SSA}{s-1}$	$F=\frac{MSA}{MSE}$	查表
误差e（组内）	SSE	n - s	$MSE=\frac{SSE}{n-s}$
总和	SST	n - 1

MatLab 中的例子：
[p, anovatab, stats] = anova1(X, group, 'displayopt')

方差分析表例子：

X = [
    5500 5800 5740 5710;  
    5440 5680 5240 5600; 
    5400 5410 5430 5400;
    5640 5700 5660 5700;
    5610 5700 5610 5400
    ];
% 因为参数要求每列为一组，故需要将 X 进行转置
[p, table, stats] = anova1(X', [], 'on');

图中 $p=0.022<\alpha =0.05$，故判定日期因素对生产质量有显著影响。

5.2 写出有交互作用的双因子方差分析 Matlab 命令并分析结果含义

[p, Table] = anova2(X, reps, 'off')

有交互作用的双因子方差分析表，其中 $n$ 为 $reps$ 单元观测点数目，也就是每种条件下重复试验的次数。

下面这个网站有例子：
https://www.cnblogs.com/begtostudy/archive/2012/06/22/2558974.html
这个网站里面有 anova2 函数的详细介绍
https://ww2.mathworks.cn/help/stats/anova2.html
输入格式

方差分析表例子：

X = [
    23 15 26 13 21 25 20 21 16 18 21 24 24 29 19 14 11 19 20 24
    28 22 25 19 26 30 26 26 20 28 17 27 19 23 13 17 21 18 26 23
    18 10 12 22 13 15 21 22 14 12 16 19 25 25 22 18 12 23 22 19
    ];

% 根据参数要求，对 X 进行转置, 第二个参数是每次测量数据数
[p, table, stats] = anova2(X', 5, 'on');

$p_A=0.0055<0.05$，树种因素对结果有显著影响；
$p_B=0.3944>0.05$，地区因素对结果无显著影响；
$p_{AB}=0.0508>0.05$，树种和地区因素交互作用无显著影响，所以没有某种树种特别适合在某地区种植。

6. 回归分析

6.1 写出回归分析的 Matlab 命令并分析结果含义

[b, bint, r, rint, stats] = regress(y, X, 0.05)
b 为回归系数
bint 为回归系数的置信区间
r 为残差，代表实际值与估计值的差
rint 为残差置信区间
stats 用于检验回归模型的统计量，四个数值分别为 决定系数 $R^2=\frac{SSR}{SST}$（越接近 1 越好），F 值（越大越好），p值（越小越拒绝，越好），误差无偏估计

X 必须包含一列 1，以便模型包含常数项。

这个网站有解释
https://ww2.mathworks.cn/help/stats/regress.html
例子
https://blog.csdn.net/guzhenping/article/details/43314333