如果你在寻找卡方分布是什么?如何实现卡方检验?那么请看这篇博客,将以通俗易懂的语言,全面的阐述卡方、卡方检验及其python实现。
1. 卡方分布
1.1 简介
抽样分布有三大应用:T分布、卡方分布和$\Gamma$分布。可以简单用四个字概括它们的作用:“以小博大”,即通过小数量的样本容量去预估总体容量的分布情况。这里开始介绍卡方分布。${\chi ^{\text{2}}}$分布在数理统计中具有重要意义。 ${\chi ^{\text{2}}}$分布是由阿贝(Abbe)于1863年首先提出的,后来由海尔墨特(Hermert)和现代统计学的奠基人之一的卡·皮尔逊(C K.Pearson)分别于1875年和1900年推导出来,是统计学中的一个非常有用的著名分布。
1.2 定义
若n个相互独立的随机变量${\xi _1},{\xi _2}, \cdots ,{\xi _n}$,均服从标准正态分布,则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量${\text{X}}\left( {} \right)$,其分布规律称为卡方分布。记作:
$${\text{X}} \sim {\chi ^{\text{2}}}\left( k \right)$$
1.3 卡方分布的密度函数
$${f_k}(x) = \frac{ { { {(1/2)}^{\frac{k}{2}}}}}{ {\Gamma (k/2)}}{x^{\frac{k}{2} - 1}}{e^{ - \frac{x}{2}}}$$
卡方分布的概率密度图
其中x≥0, 当x≤0时fk(x) = 0。这里$\Gamma$代表Gamma 函数。
在大多数涉及卡方分布的书中都会提供它的累积分布函数的对照表。此外许多表格计算软件如OpenOffice.org Calc和Microsoft Excel中都包括卡方分布函数。
卡方分布可以用来测试随机变量之间是否相互独立,也可用来检测统计模型是否符合实际要求。自由度为 k 的卡方变量的平均值是 k,方差是 2k。
1.4 性质(后续填坑)
2.卡方检验
2.1简介
卡方检验(chi-square,记为χ2\chi^2检验)是统计学中常用来计数数据分析的方法,对于总体的分布不作任何假设,因此它属于非参数检验法中的一种。本博文从理论到实际应用去阐述卡方检验,最后用python语言去实现卡方分布的代码。
${\chi ^{\text{2}}}$检验的基本思想是根据样本数据推断总体的频次与期望频次有显著性差异, ${\chi ^{\text{2}}}$的计算公式为:
$${\chi ^{\text{2}}} = \frac{ { { {({f_0} - {f_e})}^2}}}{ { {f_e}}}$$
其中,${ {f_0}}$为实际观察频次,${ {f_e}}$为理论值
这是卡方检验的原始公式,其中当${ {f_e}}$越大,近似效果越好。显然${ {f_0}}$与${ {f_e}}$相差越大,卡方值就越大;${ {f_0}}$与${ {f_e}}$相差越小,卡方值就越小。因此它能够用来表示${ {f_0}}$与${ {f_e}}$相差的程度。根据这个公式,可认为卡方检验的一般问题是要检验名义型变量的实际观测次数和理论次数分布之间是否存在显著差异。
一般卡方检验方法进行统计检验时,要求样本容量不宜太小,理论次数$\geqslant 5$,否则需要进行校正。如果个别单元格的理论次数小于5,处理的方法有以下四种:
单元格合并法
增加样本数
去除样本数
使用校正公式,当某一期次数小于5时,应该利用校正公式计算卡方值。校正公式为:$${\chi ^{\text{2}}} = \sum {\frac{ { { {(\left| { {f_0} - {f_e}} \right| - 0.5)}^2}}}{ { {f_e}}}} $$
知道了卡方分布的原理,那具体是如何使用的呢?卡方分析有两个常见的应用——适合度(拟合性)分析和独立性分析。从我目前的经验来看,这也是应用十分广泛的一种统