Normal Distribution & Chi-squared Distribution & t distribution & F-distribution

最近看论文发现经常有一些统计学的内容，但是这部分内容之前一直都是很薄弱的地方，不敢涉猎，现在学习一下，并整理下来，方便以后查阅。

正态分布（Normal distribution）

引言

正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布（在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明）。

正态分布出现在许多区域统计：例如，采样分布均值是近似地正态的，即使被采样的样本的原始群体分布并不服从正态分布。

另外，正态分布信息熵在所有的已知均值及方差的分布中最大，这使得它作为一种均值以及方差已知的分布的自然选择。

正态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论，正态分布是几种连续以及离散分布的极限分布。

定义

正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian distribution），是一个非常常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。

其概率密度函数为

正态分布的数学期望值或期望值$\mu$等于位置参数，决定了分布的位置；其方差${\sigma }^2$的开平方或标准差$\sigma$等于尺度参数，决定了分布的幅度。

正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准正态分布是位置参数$\mu =0$，尺度参数${\sigma }^2=1$的正态分布。

概率密度函数

有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数，这种方法能够表示随机变量每个取值有多大的可能性。

四个不同参数集的概率密度函数（红色线代表标准正态分布）  

正态分布的概率密度函数均值为$\mu$方差为${\sigma }^2$ (或标准差$\sigma$)是高斯函数的一个实例：

如果一个随机变量$X$服从这个分布，我们写作$XN(\mu ,{\sigma }^2)$. 如果$\mu =0$并且$\sigma =1$，这个分布被称为标准正态分布，这个分布能够简化为

特性

• 密度函数关于平均值对称
• 平均值与它的众数（statistical mode）以及中位数（median）同一数值。
• 函数曲线下68.268949%的面积在平均数左右的一个标准差$\sigma$范围内
• 95.449974%的面积在平均数左右两个标准差$2\sigma$的范围内
• 99.730020%的面积在平均数左右三个标准差$3\sigma$的范围内
• 函数曲线的拐点（inflection point）为离平均数一个标准差距离的位置

标准正态分布表

卡方分布（Chi-squared Distribution）

定义

若k个相互独立的随机变量ξ₁，ξ₂，…,ξk ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。

平方和式子如下：

卡方分布可以表示为以下形式：

要注意的是，卡方分布只有一个参数k，k是一个正整数，表明了分布中自由度的数目。

自由度（DoF） 的正式定义为统计学中可以自由变化的数值个数. 如果有 k 个观测值,那么自由度通常是 k − 1 或 k.

概率密度函数

卡方分布的概率密度函数如下：

$\Gamma (k/2)$表示的是一个$gamma$函数，它是整数$k$的封闭形式。

从卡方分布的图形中看，随着自由度的增加，凸起的位置会向右移动。

卡方分布与标准正态分布的关系

服从标准正态分布的随机变量服从自由度为1的卡方分布

卡方检验(chi-square test)

定义

卡方检验是一种用途很广的计数资料的假设检验方法。

它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。

卡方检验，主要用于检验统计样本的实际观测值与理论推断值之间的偏离程度，或者是检验一批数据是否与某种理论分布相符合。

卡方值${\chi }^2$是卡方检验时用到的检验统计量，卡方值越大，说明观测值与理论值之间的偏离就越大；反之，二者偏差越小。

实际应用时，可以根据卡方值计算 P-value，从而选择拒绝或者接受原假设。

举个栗子

用统计学的方法分析一下婚姻与年收入的关系：

在不同收入阶段中抽取一组家庭，分析他们的婚姻状况，如下：

在假设H0的情况下，计算预计的婚姻情况：

计算卡方值${\chi }^2$：

计算自由度和P-calue：

这个结果说明你没有办法拒绝H0，从图形上看是这样的：

卡方分布表

t分布（t distribution）

发展

英国人威廉·戈塞于1908年再次发现并发表了t分布，当时他还在爱尔兰都柏林的吉尼斯啤酒酿酒厂工作。
酒厂虽然禁止员工发表一切与酿酒研究有关的成果，但允许他在不提到酿酒的前提下，以笔名发表t 分布的发现，所以论文使用了“学生”（Student）这一笔名。
之后t检定以及相关理论经由罗纳德·费希尔发扬光大，为了感谢戈塞的功劳，费希尔将此分布命名为学生t 分布（Student’s t）。

概念

学生t分布（Student’s t-distribution），简称t 分布，在概率论及统计学中用于根据小样本来估计总体呈正态分布且标准差未知的期望值。

若总体标准差已知，或是样本数足够大时（依据中心极限定理渐进正态分布），则应使用正态分布来进行估计。其为对两个样本期望值差异进行显著性测试的学生t检验之基础。

学生t 检验改进了Z检验（Z-test），因为在小样本中，Z检验以总体标准差已知为前提，Z检验用在小样本会产生很大的误差，因此必须改用学生t 检验以求准确。
但若在样本数足够大（普遍认为超过30个即足够）时，可依据中心极限定理近似正态分布，以Z检验来求得近似值，

概率密度函数

假设$X$是呈正态分布的独立的随机变量（随机变量的期望值为$\mu$，总体方差为${\sigma }^2$但未知）。

则样本期望值：

样本方差：

呈期望值为0、方差为1的正态分布的随机变量：

但因总体方差${\sigma }^2$为未知，因此依斯卢茨基定理以${S_n}^2$替换之：

T 的概率密度函数是：

$\nu$ 等于$n-1$。 T的分布称为t 分布。参数$\nu$ 一般被称为自由度。

$\Gamma$ 是伽玛函数。 如果$\nu$是偶数,

如果$\nu$是奇数,

T 的概率密度函数的形状类似于期望值为0方差为1的正态分布，但更低更宽。随着自由度$\nu$的增加，则越来越接近期望值为0方差为1的正态分布。

T检验

定义

t检验与Z检验类似，用来判断样本均值是否与总体均值均有显著性差异。不过t检验是基于t分布的，适用于：

• 总体呈正态分布。
• 总体方差未知。
• 样本数量较少（<30）

不过，随着样本容量的增大（样本数量≥30），t分布逐渐接近于正态分布。此时，t检验也就近似于Z检验。

t统计量计算公式：
$$t=\frac{\bar{x}-{\mu }_0}{S_{\bar{x}}}=\frac{\bar{x}-{\mu }_0}{S/\sqrt{n}}$$

• $\bar{x}$：样本均值。
• ${\mu }_0$：待检验的总体均值（假设的总体均值）。
• $S_{\bar{x}}$：样本均值的标准差（标准误差）。
• $S$：样本的标准差。
• $n$：样本容量。

举个栗子

鸢尾花的平均花瓣长度为3.5cm，这种说法正确吗？

根据假设检验的步骤，进行解决。

1. 设置原假设与备择假设：
   原假设：μ = μ0 = 3.5cm（说法正确）
   备择假设：μ ≠ μ0 ≠ 3.5cm（说法不正确）

2. 设置显著性水平：
   α = 0.05

3. 根据问题选择假设检验的方式：
   鸢尾花数据呈正态分布，但总体标准差未知，故选择t检验。

4. 计算统计量，并通过统计量获取P值。

import pandas as pd
import numpy as np
from scipy import stats
from sklearn.datasets import load_iris

iris = load_iris()
data = pd.DataFrame(iris.data, columns=['sepal_length','sepal_width','petal_length','petal_width'])

#计算样本均值、标准差
mean = data['petal_length'].mean()
std = data['petal_length'].std()
print('样本均值：',mean)
print('样本标准差：',std)
#计算t统计量
t = (mean-3.5)/(std/np.sqrt(len(data['petal_length'])))
print('t统计量：', t)
#计算p值
#df：自由度，即变量可以自由取值的个数
p = 2*stats.t.sf(abs(t), df=len(data['petal_length'])-1)
print('P-Value值：', p)

可以看到P值大于0.05，我们没有充分的理由拒绝原假设，则接受原假设，拒绝备择假设。

ps： 我们也可以通过scipy提供的相关方法进行t检验的计算（仅支持双边t检验）

print(stats.ttest_1samp(data['petal_length'], 3.5))

可以看到，使用scipy计算的结果，与自行计算的结果相同（忽略小数存储的误差）。

T分布表

Z检验

定义

Z检验用来判断样本均值是否与总体均值具有显著性差异。Z检验是通过正态分布的理论来推断差异发生的概率，从而比较两个均值的差异是否显著。

Z检验适用于：

• 总体呈正态分布。
• 总体方差已知。
• 样本容量较大（≥30）。

Z检验计算公式如下：

$$Z=\frac{\bar{x}-{\mu }_0}{S_{\bar{x}}}=\frac{\bar{x}-{\mu }_0}{\sigma /\sqrt{n}}$$

• $\bar{x}$：样本均值。
• ${\mu }_0$：待检验的总体均值（假设的总体均值）。
• $S_{\bar{x}}$：样本均值的标准差（标准误差）。
• $\sigma$：样本的标准差。
• $n$：样本容量。

举个栗子

通过假设检验可以计算如下题目：

某车间用一台机器制作袋装糖，袋装糖的净重是一个随机变量，服从正态分布。机器运行正常时，其均值为0.5kg，标准差为0.015kg。某日工作后，检验包装机是否正常，随机抽取9袋糖，称得净重为（kg）：0.497、0.506、0.518、0.524、0.498、0.511、0.520、0.515、0.512，请问机器是否正常？

1. 设置原假设与备择假设：
   原假设：μ = μ0 = 0.5kg（机器正常）
   备择假设：μ ≠ μ0 ≠ 0.5kg（机器不正常）

2. 设置显著性水平：
   α = 0.05

3. 根据问题选择假设检验的方式：
   根据题意已知糖的净重呈正态分布且总体标准差已知，故选择Z检验。

4. 计算统计量，并通过统计量获取P值。

from scipy import stats
import numpy as np

a = np.array([0.497,0.506,0.518,0.524,0.498,0.511,0.520,0.515,0.512])
#总体的均值和标准差
mean, std = 0.5, 0.015
#计算样本均值
sample_mean = a.mean()
#计算标准误差
se = std/np.sqrt(len(a))
#计算Z统计量
Z = (sample_mean-mean)/se
print("统计量Z:" , Z)
#计算P值
p = 2*stats.norm.sf(abs(Z))
print('P-Value值:' , p)

通过结果可知，P值小于0.05，则拒绝原假设，接受备择假设，我们可以认为机器运作不正常。

F-分布（F-distribution）

定义

设随机变量$X$~${\chi }_{d_1}^2$，$Y$ ~${\chi }_{d_2}^2$ ，且$X$和$Y$独立，则称：

$$F=\frac{X/m}{Y/n}$$

为自由度分别是$d_1$和$d_2$的$F$变量，其分布称为自由度分别是$d_1$和$d_2$的$F$分布，记为$F$~$F_{d_1,d_2}$

概率密度函数

如果随机变量 $X$ 有参数为 $d_1$ 和 $d_2$ 的 $F$-分布，我们写作 $X$ ~ $F(d_1,d_2)$。那么对于实数 $x\ge 0$，$X$ 的概率密度函数 (pdf)是:

这里$\mathrm{B}$是B函数。在很多应用中，参数 d1 和 d2 是正整数，但对于这些参数为正实数时也有定义。

注意$F$ 分布的自由度 m 和 n 是有顺序的, 当 $m\ne n$时, 若将自由度 m 和 n 的顺序颠倒一下, 得到的是两个不同的 $F$ 分布。

从下图可见对给定 $m=10$, $n$ 取不同值时$f_{m,n}(x)$ 的形状, 我们看到曲线是偏态的, $n$ 越小偏态越严重。

若 $F$ ∼ $F_{m,n}$, 记 $P(F>c)=\alpha$, 则 $c=F_{m,n}(\alpha )$ 称为 F 分布的上侧 $\alpha$ 分位数 (见下图)。

当 $m$, $n$ 和 $\alpha$ 给定时, 可以通过查表求出$F_{m,n}(\alpha )$之值, 例如$F_{4,10}(0.05)=3.48$,$F_{10,15}(0.01)=3.80$ 等. 在区间估计和假设检验问题中常常用到。

性质

$F$ 变量具有下列的性质:

1. 若$Z$ ∼ $F_{m,n}$，则$1/Z$ ∼ $F_{n,m}$
2. 若$T$ ∼ $t_n$，则$T^2$ ∼ $F_{1,n}$
3. $F_{m,n}(1-\alpha )=1/F_{n,m}(\alpha )$

以上性质中，性质 (3)在求区间估计和假设检验问题时会常常用到。

因为当 $\alpha$ 为较小的数,如 $\alpha =0.05$ 或 $\alpha =0.01$, $m$, $n$ 给定时, 从已有的 $F$ 分布表上查不到 $F_{m,n}(1-0.05)$ 和 $F_{m,n}(1-0.01)$ 之值, 但它们的值可利用性质(3) 求得, 因为 $F_{n,m}(0.05)$和$F_{n,m}(0.01)$ 是可以通过查 $F$ 分布表求得的.

Analysis of variance（ANOVA）

概念

方差分析依靠F-分布为概率分布的依据，利用平方和（Sum of square）与自由度（Degree of freedom）所计算的组间与组内均方（Mean of square）估计出F值，若有显著差异则考量进行事后比较或称多重比较（Multiple comparison），较常见的为薛费法(事后比较法)、杜其范围检验与邦费罗尼校正，用于探讨其各组之间的差异为何。

在方差分析的基本运算概念下，依照所感兴趣的因子数量而可分为单因子方差分析、双因子方差分析、多因子方差分析三大类，依照因子的特性不同而有三种型态，固定效应方差分析（fixed-effect analysis of variance）、随机效应方差分析（random-effect analysis of variance）与混合效应方差分析（Mixed-effect analaysis of variance），然而第三种型态在后期发展上被认为是Mixed model的分支，关于更进一步的探讨可参考Mixed model的部分。

方差分析优于两组比较的T检验之处，在于后者会导致多重比较（multiple comparisons）的问题而致使第一类错误（Type one error）的机会增高，因此比较多组平均数是否有差异则是方差分析的主要命题。

ANOVA的模式型态

方差分析分为三种型态：

固定效应模式（Fixed-effects models）

用于方差分析模型中所考虑的因子为固定的情况，换言之，其所感兴趣的因子是来自于特定的范围。

例如要比较五种不同的汽车销售量的差异，感兴趣的因子为五种不同的汽车，反因变量为销售量，该命题即限定了特定范围，因此模型的推论结果也将全部着眼在五种汽车的销售差异上，故此种状况下的因子便称为固定效应。

随机效应模式（Random-effects models）

不同于固定效应模式中的因子特定性，在随机效应中所考量的因子是来自于所有可能的母群体中的一组样本，因子方差分析所推论的并非着眼在所选定的因子上，而是推论到因子背后的母群体。

例如，借由一间拥有全部车厂种类的二手车公司，从所有车厂中随机挑选5种车厂品牌，用于比较其销售量的差异，最后推论到这间二手公司的销售状况。因此在随机效应模型下，研究者所关心的并非局限在所选定的因子上，而是希望借由这些因子推论背后的母群体特征。

混合效应模式（Mixed-effects models）

此种混合效应绝对不会出现在单因子方差分析中，当双因子或多因子方差分析同时存在固定效应与随机效应时，此种模型便是典型的混合型模式。

ANOVA的假设

方差分析之统计分析假设通常会依照各种模式型态不同而有差异，但广义而言，方差分析一共有三大前提假设：

1. 各组样本背后所隐含的族群分布必须为正态分布或者是逼近正态分布。
2. 各组样本必须独立。
3. 族群的方差必须相等。

ANOVA计算

总变量（TSS）：$\sum _i\sum _j(Y_{ij}-{\overline{Y}}_{total}{)}^2$

$i$为组别（$i=1,\mathrm{2...},I$），$j$为观测值个数（$j=1,2,3,...,J$），$Y_{ij}$为第$i$组第$j$个观测值，${\overline{Y}}_{total}$为所有观测值的平均数。

组间变异量（BSS）：$\sum _i{n}_i({\overline{Y}}_i-{\overline{Y}}_{total}{)}^2$

$n_i$为$i$组内观测值总数，${\overline{Y}}_i$为第$i$组的平均数

组内变异量（WSS）：$\sum _i\sum _j(Y_{ij}-{\overline{Y}}_i{)}^2$

BSS代表所有观测值的期望值与分组后各组内的期望值差异
换言之，当各组的期望值没有差异的时候，BSS=0，这个时候我们会认为各组间平均值就没有差异存在，但并不代表所有观测值的一致性也会很高，因此计算WSS来帮助我们判断所有期望值的差异量多寡

当WSS=0的情况，代表各组内的所有观测值与各组的期望值没有差异存在，因此只有WSS与BSS都为0情况下，我们才能断定所有观测值达到完美的一致

然而当WSS>0, BSS=0的情况，则是各组期望值达到一致，但组内却存在变异

WSS=0, BSS>0，则是组内没有变异存在，但各组间却存在差异

然后真实状况不可能如此极端，因此必须比较WSS与BSS的差异来判断方差分析的结果，也就是各组期望值是否有差异存在。而这个部分在比较变异量的过程中，必须考量到各组变易量会受到观测数量与组别数量的多寡而有所差异，因此必须进行自由度的调整，也就是计算出均方值来比较组内变异与组间变异量。

组间均方BMSS（between means sum of squares）：$BMSS=\frac{BSS}{k-1}=\frac{{\sum }_i{n}_i({\overline{Y}}_i-{\overline{Y}}_{total}{)}^2}{k-1}$

组内均方WMSS（within means sum of squares）：$WMSS=\frac{WSS}{N-k}=\frac{{\sum }_i{\sum }_j(Y_{ij}-{\overline{Y}}_i{)}^2}{N-k}$

其中$k$为组别数量，$N$为观测值总数。两个均方值的比较为$\frac{BMSS}{WMSS}$

$$F=\frac{BMSS}{WMSS}=\frac{BSS/k-1}{WSS/N-k}\backsim F(k-1,N-k)$$

此比较值也就是目前惯称的F检验值

F越大，则组间均方大于组内均方，也就是组间变异量大于组内变异量，各组间的差异远超出总期望值离差，代表各组的平均数存在明显的差异

F越小甚至于逼近于0，则是组间变异量小于组内变异量，代表各组间的差异很小，各组平均数则不存在明显的差异

整个分析概念中，受到方差分析所规范的族群的方差必须相等的条件下，组内变异量成为了基准，因此组间变异量的多寡就成了判定方差分析结论的重要数值

然而F值仅为提供判断虚拟假设存在的可能性，为了方便下结论，由alpha值决定可容许的错误判断概率为5%，因此F值所计算的虚拟假设概率值若小于0.05，则下定论为各组存在差异，其隐含的意义则是否定了各组间无差异的概率，也就是容许了各组无差异可能成真的错误判断概率，因为判断错误的概率太小而能容许，但并不代表不可能判断错误，因此任何F检验的结果均只能下定论为达到统计上的意义，而非绝对意义。

F值得计算流程

假设检验

概念

假设检验有点类似于我们高中数学中常见的“反证法”，即提出一个错误的假设，然后证明它是错的。

那么我们提出的假设叫做 原假设 (Null Hypothesis)，简写为$H_0$。我们备选的假设叫做 备选假设 (Alternative Hypothesis)，简写为$H_{\alpha }$或者$H_1$。注意，在假设检验中只有 2 个假设，即原假设和备选假设，我们的目的就是要拒绝原假设。

在假设检验过程中，我们一般设定原假设$H_0$和备选假设$H_1$如下，

• 原假设$H_0$：两组数据没有显著性差异
• 备选假设$H_1$：两组数据存在显著性差异

假设检验，也称为显著性检验，通过样本的统计量来判断与总体参数之间是否存在差异（差异是否显著）。

即我们对总体参数进行一定的假设，然后通过收集到的数据，来验证我们之前作出的假设（总体参数）是否合理。

在假设检验中，我们会建立两个完全对立的假设，分别为原假设H0与备择假设H1。然后根据样本信息进行分析判断，是选择接受原假设还是拒绝原假设。

假设检验基于“反证法”。首先，我们假设原假设为真，如果在此基础上，得出了违反逻辑与常理的结论，则表明原假设是错误的，我们就接受备择假设。

举个栗子

假设检验的步骤

1. 设置原假设与备择假设。
2. 设置显著性水平α（通常选择α=0.05）。
3. 根据问题选择假设检验的方式。
4. 计算统计量，并通过统计量获取P值。
5. 根据P值与α值，决定接受原假设还是备择假设。

常用的假设检验方法

• Z检验
• t检验
• ${\chi }^2$检验
• 单边检验（右侧检验、左侧检验）
• 双边检验

总体标准差 & 样本标准差 & 标准误差

总体标准差

公式：
$$\sigma =\sqrt{\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{n}}$$

其中：$x_i$为某个样本, $\mu$为总体样本的均值，$n$为总体样本的数量。

样本标准差

公式：
$$S=\sqrt{\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{n-1}}$$

其中：$x_i$为某个样本, $\mu$为总体样本的均值，$n$为总体样本的数量。

可以看出，总体标准差和样本标准差的区别是，一个分母是 n，一个分母是 (n - 1)。

为什么样本标准差的分母是 (n - 1) ？可以参考这篇文章：《有偏估计 and 无偏估计》

标准误差

标准误差指的是样本均值的标准差，衡量的是样本均值的离散程度。

因为每一次抽样得到的平均值都是不一样的，需要进行多次抽样后，再用多个样本均值来估计总体均值，那么样本均值的离散程度越大，抽样误差就越大。

所以用标准误差来衡量抽样误差的大小。

标准误的计算公式为：

公式：
$$S_e=\frac{S}{\sqrt{n}}$$

P值 (P-value)

定义

在原假设成立的的情形下，检验统计量取到比观测到的检验统计量的值更加极端的概率。

口语化理解

P值，也就是常见到的 P-value。P 值是一种概率，指的是在 H0 假设为真的前提下，样本结果出现的概率。

如果 P-value 很小，则说明在原假设为真的前提下，样本结果出现的概率很小，甚至很极端，这就反过来说明了原假设很大概率是错误的。

通常，会设置一个显著性水平（significance level） $\alpha$ 与 P-value 进行比较，如果 P-value < $\alpha$ ，则说明在显著性水平$\alpha$下拒绝原假设，$\alpha$通常情况下设置为0.05。

举个栗子

右侧检验

左侧检验

双侧检验

显著性水平和P值的区别

显著性水平

• 显著性水平$\alpha$
• 研究者事先约定的犯弃真错误的概率
• 反应研究者对犯弃真错误（原假设是真却拒绝了原假设）的容忍度

若果$\alpha$设置的比较低，比如$\alpha =0.01$，那么就表明对犯弃真错误的容忍程度就越低，得到的结论的可靠性就越高。

P值 P-value

• 在原假设成立的的情形下，检验统计量取到比观测到的检验统计量的值更加极端的概率
• 犯弃真错误的实际概率

参考资料

正态分布（高斯分布）

统计学——卡方检验和卡方分布

卡方分布（Chi-squared Distribution）

卡方分布（Chi-Square Distribution）

假设检验——Z检验、t检验

关于假设检验的一切 - 统计学

T检验、卡方检验以及p-value

如何理解P值？

显著性水平和P值的区别

卡方检验 Chi-squared test -统计学

t分布（t distribution）- 统计学

三大抽样分布：卡方分布，t分布和F分布的简单理解

统计学与质量023 - F分布并不像公式那样简单 双样本方差F检验

十五分钟理解F分布和方差分析

方差分析