数理统计之卡方检验

数理统计之卡方检验

简介

卡方分布是与正态分布紧密联系的分布，它能做的事情很多，本文介绍了以下三方面：

1. 单个正态总体的方差检验
2. 样本总体的分布拟合检验
3. 两个总体之间的相关性（独立性）检验

---

一、卡方分布

【定义】 设随机变量 $\xi_1,\xi_2,\cdots,\xi_n$ 独立同分布，且 $\xi_i\sim N(0,1)$，则称随机变量

$$\chi^2=\sum_{i=1}^n\xi_i^2$$
服从的分布称为自由度为 $n$ 的卡方分布，该随时变量称为 $\chi^2$，简记 $\chi^2\sim\chi^2(n)$

【记忆】 $\chi^2$ 就是标准正态分布随机变量的平方和。

【分位数】 $\chi^2_{\alpha}(n)=\lambda$，其意义是：自由度$n$的$\chi^2$分布取值小于$\lambda$的概率$P(\chi^2(n)\leqslant \lambda)=\alpha$，另有性质 $P(\chi^2_{\alpha/2}<x<\chi^2_{1-\alpha/2})=1-\alpha$

【性质】
1. 概率密度分布
当 $n=1$时

$$p(\chi^2=x)=\frac{1}{\sqrt{2\pi}\sqrt{x}}\exp(-\frac{x}{2})$$
当 $n=2$时，等价于参数0.5的指数分布 $$p(\chi^2=x)=\frac{1}{2}\exp(-\frac{x}{2})$$
一般情况下 $$p(\chi^2=x)=\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}$$
其中 $$\Gamma(n)=\int_0^{\infty}x^{n-1}e^{-x}dx=(n-1)!$$
下图是用matlab的chi2pdf函数绘制的 $\chi^2$ 分布在不同自由度下的概率密度曲线。

2. 期望和方差
$$E[\chi^2(n)]=n$$
$$Var[\chi^2(n)]=2n$$
3. 叠加性
多个 $\chi^2$ 分布叠加，还是 $\chi^2$ 分布，自由度相加即可
$$\sum_{i=1}^m\chi^2(n_i)=\chi^2(\sum_{i=1}^m n_i)$$

二、卡方检验

1. 单个正态分布总体的方差检验

现在讨论单个正态总体 $X \sim N(\mu,\sigma^2)$，样本为 $(x_1,x_2,\cdots, x_n)$。要对该总体的方差进行估计，即给定给一个显著性水平$\alpha$下，要在下面三种假设检验（双侧检验、右侧检验、左侧检验）中选做一个。

$$H_0:\sigma^2=\sigma_0^2\\H_1:\sigma^2 \neq \sigma_0^2$$
$$H_0:\sigma^2\leqslant \sigma_0^2\\H_1:\sigma^2 > \sigma_0^2$$
$$H_0:\sigma^2\geqslant \sigma_0^2\\H_1:\sigma^2< \sigma_0^2$$

根据正态总体的均值 $\mu$ 是否已知，需要分类讨论。

1.1 $\mu$ 已知

下面以双侧检验为例

$$H_0:\sigma^2=\sigma_0^2\\H_1:\sigma^2 \neq \sigma_0^2$$
正态分布方差 $\sigma^2$的UMVUE（一致最小方差无偏估计）是
$$\frac{1}{n}\sum_{i=1}^n (x_i -\mu)^2$$
所以当原假设 $H_0:\sigma^2=\sigma_0^2$ 为真，下面这个比值应该很接近1才对，如果接近0或者比1大的多，说明在假定 $H_0$ 为真的前提下出现了极小概率事件，就有理由拒绝原假设。
$$\frac{\gamma}{n} = \frac{\frac{1}{n}\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}$$
回想 $\alpha$ 和分位数的意义，在假定 $H_0$ 为真的前提下，发现异常的概率应该是 $\alpha$（下面 $k_1$是一个接近0的数， $k_2$是一个大于1的数）
$$P\left(\left \{ \frac{\gamma}{n}\leqslant k_1|H_0\right \}+\left \{ \frac{\gamma}{n}\geqslant k_2|H_0\right \}\right)=\alpha$$
$$P\left(\left \{ \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\leqslant n\cdot k_1|H_0\right \}+\left \{ \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\geqslant n\cdot k_2|H_0\right \}\right)=\alpha$$
简单地让两部分（两种异常的概率）相等
$$P\left ( \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\leqslant n\cdot k_1|H_0\right )=P\left (\frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\geqslant n\cdot k_2|H_0\right )=\frac{\alpha}{2}$$
观察一下分式，在 $H_0$ 为真时，它正是 $n$个标准正态随机变量的平方和，所以服从$\chi^2$分布
$$\gamma = \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}=\sum_{i=1}^n\left(\frac{ x_i -\mu}{\sigma_0}\right)^2=\chi^2 \sim \chi^2(n)$$
进一步由 $\chi^2$分布的分位数 $\chi^2_{\alpha}=\lambda$ 定义 $P(\chi^2(n) \leqslant \lambda)=\alpha$ 迁移上面的概率
$$P\left ( \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\leqslant \chi^2_{\alpha /2}(n)\right )=P\left (\frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}\geqslant \chi^2_{1-\alpha /2}(n)\right )=\frac{\alpha}{2}$$
注意，即使化成了这个样子，它的意义仍然是“原假设成立时出错的概率”，所以当 $\chi^2 \leqslant \chi^2_{\alpha /2}(n)$ 或者 $\chi^2 \geqslant \chi^2_{1-\alpha /2}(n)$，我们应该拒绝原假设 $H_0$，而当 $\chi^2_{\alpha /2}(n) <\chi^2 <\chi^2_{1-\alpha /2}(n)$ 时，我们可以接受原假设。

左侧检验和右侧检验的推导与双侧检验的推导类似，主要区别在于，只需要考虑一侧的异常，所以分位数应该是 $\chi^2_{\alpha}(n)$ 或 $\chi^2_{1-\alpha}(n)$。

1.2 $\mu$ 未知

$\mu$ 未知，就不能用 $\gamma$ 做检验统计量了，但正态总体方差$\sigma^2$的UMVUE还有下面这个形式，也就是说可以先算样本均值$\overline{x}$，然后用样本的修正方差做检验统计量。

$$S^{*^2}=\frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{x})^2$$
相似地，构造 $\chi^2$分布：
$$\eta=\frac{\sum_{i=1}^n (x_i-\overline{x})^2}{\sigma_0^2}=\frac{(n-1)S^{*^2}}{\sigma_0^2}=\chi^2\sim \chi^2(n-1)$$
接下来就是相似地找到拒绝域： $\chi^2 \leqslant \chi^2_{\alpha /2}(n-1)$ 或者 $\chi^2 \geqslant \chi^2_{1-\alpha /2}(n-1)$。

1.3 方差检验总结

下面给出表格汇总，全都是在显著水平$\alpha$下的拒绝域，即如果满足则拒绝原假设。

$$\gamma = \frac{\sum_{i=1}^n (x_i -\mu)^2}{\sigma_0^2}$$
$$\eta = \frac{\sum_{i=1}^n (x_i -\overline{x})^2}{\sigma_0^2}$$

$H_0$	$H_1$	$\mu$ 已知	$\mu$ 未知
$\sigma^2=\sigma_0^2$	$\sigma^2\neq\sigma_0^2$	$\gamma \leqslant \chi^2_{\alpha /2}(n)\\或\\ \gamma \geqslant \chi^2_{1-\alpha/2}(n)$	$\eta \leqslant \chi^2_{\alpha /2}(n-1)\\或\\ \eta \geqslant \chi^2_{1-\alpha/2}(n-1)$
$\sigma^2\leqslant \sigma_0^2$	$\sigma^2>\sigma_0^2$	$\gamma \geqslant \chi^2_{1-\alpha}(n)$	$\eta \geqslant \chi^2_{1-\alpha}(n-1)$
$\sigma^2\geqslant \sigma_0^2$	$\sigma^2<\sigma_0^2$	$\gamma \leqslant \chi^2_{\alpha}(n)$	$\eta \leqslant \chi^2_{\alpha}(n-1)$

假设检验的原则总是：不轻易否认原假设。对原假设 $H_0$ 作出的判断，总是与显著性水平$\alpha$有关，$\alpha$越小，原假设出错的概率就越小，我们就越不容易拒绝原假设。

---

2. 卡方拟合检验

卡方拟合检验属于分布拟合检验的一种。分布拟合检验，指的是不知道样本的总体概率分布$F(x)$是什么，根据采集的样本来判断总体是否服从某种指定的分布。一般的做法是，给定一个显著性水平 $\alpha$，对下面这个假设做 显著性检验，原假设是 样本的分布$F(x)$就是$F_0(x)$，备择假设是 $F(x)$不是$F_0(x)$。

$$\begin{matrix} H_0:F(x)=F_0(x) \\ H_1:F(x)\neq F_0(x)\end{matrix}$$
我们有样本 $(x_1,x_2,\cdots,x_n)$ 采集自总体 $X$，我们并不知道$X$的分布 $F(X=x)$是什么，但我们知道 $X$有值域 $[a_0,a_k)$，而 $n$ 个样本可以把 $[a_0,a_k)$ 分成 $k$ 个区间。
$$[a_0,a_k)\rightarrow [a_0,a_1),[a_1,a_2),\cdots,[a_{k-1},a_k)$$
当原假设$H_0:F(x)=F_0(x)$为真时
$X$的取值落在第$i$个区间的概率是： $$p_i=P(a_{i-1}\leqslant X<a_i)=F_0(a_i)-F_0(a_{i-1})$$
落在第 $i$个区间的样本个数是 $v_i$，把它称为事件 $A_i$，并把 $(x_1,x_2,\cdots,x_n)$看成 $n$次独立重复实验的结果，那么$A_i$发生的频率是 $v_i/n$，根据大数定律，如果试验次数（样本量） $n$ 足够大，就可以用频率代替概率。
$$\lim_{n\rightarrow \infty}P\left \{\left |\frac{v_i}{n}-p_i\right|<\epsilon \right \}=1$$
所以， $v_i/n$ 和 $p_i$ 的均方误差 $\sum_i(v_i/n-p_i)^2$应该很小才对，如果它很大，那么原假设就不应该成立，正是基于这种思想，有了 Pearson统计量：
$$\chi^2 = \sum_{i=1}^k\left ( \frac{v_i}{n} - p_i\right )^2\cdot \frac{n}{p_i}=\sum_{i=1}^k\frac{(v_i-np_i)^2}{np_i}$$
在给定样本 $(x_1,x_2,\cdots,x_n)$ 的情况下，计算 $\chi^2$，如果 $\chi^2$ 较大就拒绝原假设 $H_0$。

具体地，给定显著性水平$\alpha$，假设将值域分割为 $k$ 个区间，要验证的分布含有 $r$ 个未知参数（比如正态分布有$\mu$和$\sigma$这两个待定参数，则 $r=2$），则原假设的拒绝域是：

$$\chi^2 =\sum_{i=1}^k\frac{(v_i-np_i)^2}{np_i}\geqslant\chi^2_{1-\alpha}(k-r-1)$$

卡方拟合检验步骤

1. 求待测分布的参数的极大似然估计，确定好假设的分布$F_0(X)$
2. 计算每一个区间的概率$p_i=F_0(a_i)-F_0(a_{i-1})$
3. 验证 $$\sum_{i=1}^k\frac{(v_i-np_i)^2}{np_i}\geqslant\chi^2_{1-\alpha}(k-r-1)$$
   如果成立，则拒绝$H_0$，否则接受$H_0$。

---

3. 卡方独立性检验

卡方独立性检验，用来验证两个随机变量总体 $\xi$ 和 $\eta$ 之间是否独立，或者说一个特征是否对另一个特征由显著作用。一般的做法是，给定一个显著性水平 $\alpha$，对下面这个假设做 显著性检验，原假设是 $\xi$ 和 $\eta$ 独立，备择假设是 $\xi$ 和 $\eta$ 不独立。

$$\begin{matrix} H_0: \xi 和 \eta 独立 \\ H_1:\xi 和 \eta不独立\end{matrix}$$
样本集 $(x_1,x_2,\cdots,x_n)$ 的每个样本同时具有 $\xi$ 和 $\eta$ 两个特征，分别按照两个特征的取值，可以分别把样本分为 $S$ 个区间和 $T$ 个区间。
推广 Peason统计量：
$$\chi^2=\sum_{i=1}^S\sum_{j=1}^T\frac{(v_{ij}-\frac{v_i\cdot v_j}{n})^2}{\frac{v_i\cdot v_j}{n}}$$
拒绝域（若满足则拒绝原假设，认为两个特征没有关系）
$$\chi^2=\sum_{i=1}^S\sum_{j=1}^T\frac{(v_{ij}-\frac{v_i\cdot v_j}{n})^2}{\frac{v_i\cdot v_j}{n}}\geqslant \chi^2_{1-\alpha}((S-1)(T-1))$$
其中 $v_i$ 表示 特征 $\xi$ 取值为 $i$ 的样本量，$v_j$ 表示特征 $\eta$ 取值为 $j$ 的样本量，$n$ 是总样本量。

3.1 独立性检验举例

有1000个样本，特征包含“性别”与“是否色盲”，性别特征可以分为两个区间：{男，女}，是否色盲特征也可以分为两个区间：{正常，色盲}，假设统计表格如下，问显著水平$\alpha=0.01$下色盲与性别是否独立？

-	男	女	合计
正常	442	514	956
色盲	38	6	44
合计	480	520	1000

提出假设：

$$H_0：色盲和性别是相互独立的$$
计算Pearson统计量：
$$\chi^2=\sum_{i=1}^S\sum_{j=1}^T\frac{(v_{ij}-\frac{v_i\cdot v_j}{n})^2}{\frac{v_i\cdot v_j}{n}}\\ =\frac{(442-956\times 480/1000)^2}{956\times 480/1000}+\frac{(514-956\times 520/1000)^2}{956\times 520/1000}\\ +\frac{(38-44\times 480/1000)^2}{44\times 480/1000}+\frac{(6-44\times 520/1000)^2}{44\times 520/1000}=27.14$$
查表 $$X^2_{1-0.01}((S-1)(T-1))=X^2_{0.99}(1)=6.64$$
因为 $$\chi^2>X^2_{0.99}(1)$$
按照分位数的定义，如果原假设成立，那么 $\chi^2$ 取值小于 6.64 的概率应该是99%以上，而现在算出来大于6.64，所以应该拒绝原假设，性别和色盲的关系非常密切。

3.2 卡方检验如何用于特征选择

个人觉得有以下两方面的用法

1. 对于一个新提出的特征，与已有的所有特征做独立性检验，如果新特征与某些特征相关性很强，可能说明这个特征是比较冗余的。
2. 对于一个新提出的特征，与label做独立性检验，如果发现两者相关性很强，可能说明这个是一个强特征。

3.3 P值是什么

    在一些文献中常常会看到卡方检验的P值，其实P值是针对Pearson统计量而言的，对于计算出来的Pearson统计量，P值表示卡方值取值大于该Pearson统计量的概率，也就是原假设出错的概率，这就是为什么P值越小越应该拒绝原假设，P值越小等价于Pearson统计量大于某个置信水平下的分位数的程度越大。
    详情见下图，假设我们计算出来的Pearson统计量 $\chi^2=15$，自由度为10，那么卡方分布曲线在15右边的部分积分值就是 $P$ 值，其物理意义正是概率。
    实际上我们查表可得在$\alpha=0.05$下，自由度10的卡方分布分位数是18.3，我们计算出的15比它小，说明如果还是应该接受原假设的，出错概率只有5%。

3.4 卡方检验中发现的问题

    在做卡方检验做特征选择的时候发现了一些小问题，原本想要通过计算A和B两个特征分别与label的P值，来衡量哪个特征与label的相关性更强，结果发现两个特征之间不可比，目前还不知道如何解决。

3.4.1 分bin数不同，卡方值不同

3.4.2 统计值量级不同，卡方值不同

---

参考文献

1. 《数理统计基础第三版本》-庄楚强 何春雄
2. 如何用matlab绘制出卡方分布曲线
3. 卡方检验（Chi-square test)及其MATLAB实现
4. 卡方分布有关计算器
5. 卡方分布