卡方检验用于文本分类中的特征提取

卡方检验（Chi-square Test）

卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的（“原假设”），然后观察实际值（观察值）与理论值（这个理论值是指“如果两者确实独立”的情况下应该有的值）的偏差程度，如果偏差足够小，我们就认为误差是很自然的样本误差，是测量手段不够精确导致或者偶然发生的，两者确确实实是独立的，此时就接受原假设；如果偏差大到一定程度，使得这样的误差不太可能是偶然产生或者测量不精确所致，我们就认为两者实际上是相关的，即否定原假设，而接受备择假设。

理论值为E，实际值为x，偏差程度的计算公式为：

这个式子就是开方检验使用的差值衡量公式。当提供了数个样本的观察值x₁，x₂，……x_i，……x_n之后，代入到式中就可以求得开方值，用这个值与事先设定的阈值比较，如果大于阈值（即偏差很大），就认为原假设不成立，反之则认为原假设成立。

在文本分类的特征选择阶段，一般使用“词t与类别c不相关”来做原假设，计算出的开方值越大，说明对原假设的偏离越大，我们越倾向于认为原假设的反面情况是正确的。选择的过程为每个词计算它与类别c的开方值，从大到小排个序（此时开方值越大越相关），取前k个就可以。

例如，N篇文档，分类有体育和非体育，考察特征词“篮球”与类别“体育”的相关性。

特征选择	1．属于“体育”	2．不属于“体育”	总 计
1．包含“篮球”	A	B	A+B
2．不包含“篮球”	C	D	C+D
总 数	A+C	B+D	N

根据原假设，“体育”类别中包含“篮球”的文档比例应与所有文档中包含“篮球”的文档比例相同。故，Ａ的理论值应为：

差值：

同样计算剩下三种情况的差值D₁₂，D₂₁，D₂₂。最后计算“篮球”与“体育”类文章的开方值：

进一步化简，注意如果给定了一个文档集合（例如我们的训练集）和一个类别，则N，M，N-M（即A+C和B+D）对同一类别文档中的所有词来说都是一样的，而我们只关心一堆词对某个类别的开方值的大小顺序，而并不关心具体的值，因此把它们去掉是完全可以的，故实际计算的时候我们都使用

卡方检验的缺点是：它只统计文档是否出现词，而不管出现了几次。这会使得他对低频词有所偏袒（因为它夸大了低频词的作用）。甚至会出现有些情况，一个词在一类文章的每篇文档中都只出现了一次，其开方值却大过了在该类文章99%的文档中出现了10次的词，其实后面的词才是更具代表性的，但只因为它出现的文档数比前面的词少了“1”，特征选择的时候就可能筛掉后面的词而保留了前者。这就是开方检验著名的“低频词缺陷”。因此开方检验也经常同其他因素如词频综合考虑来扬长避短。