数据挖掘基础方法-概率统-4. 方差分析

1.方差分析(Analysis of variance, ANOVA)

1.1 基本概念

• 方差分析就是对试验数据进行分析，检验方差相等的多个正态总体均值是否相等，进而判断各因素对试验指标的影响是否显著。方差分析主要通过F检验来进行效果评测，
• F检验（F-test），最常用的别名叫做联合假设检验，此外也称方差比率检验、方差齐性检验。它是一种在零假设（H0）之下，统计值服从F-分布的检验。其通常是用来分析用了超过一个参数的统计模型，以判断该模型中的全部或一部分参数是否适合用来估计母体。
• 分类变量（categorical variable）是说明事物类别的一个名称，其取值是分类数据。其变量值是定性的，表现为互不相容的类别或属性。如“性别”就是一个分类变量，其变量值为“男”或“女”；“行业”也是一个分类变量，其变量值可以为“零售业”、“旅游业”、“汽车制造业”等。
• 组间因子是多个互不相干的组的因子、变量，比如分类变量的变量值（水平），“性别”是一个分类变量，其变量值“男”或“女”是一对组间因子。
• 均衡设计必须满足下列条件：(1)每个水平组合下进行试验的次数相同；(2)每个区组容纳的水平数相同；(3)不同的交互效应没有相关性，并且每个交互效应上完全均衡。与之相对应的称作非均衡设计
• 单因素方差分析（one-way ANOVA），或进一步称为单因素组间方差分析试验中要考察的指标称为试验指标，影响试验指标的条件称为因素，因素所处的状态称为水平，若试验中只有一个因素改变则称为单因素试验，若有两个因素改变则称为双因素试验，若有多个因素改变则称为多因素试验。以此类推。若因子设计包括组内和组间因子，又称作混合模型方差分析
• 重复测量方差分析，即每个受试对象在不同的水平下进行了重复测量。
• 主效应，描述一个因子在各水平上对反应量(因变量)影响大小的度量。
• 交互效应，当被试处理情境之间或单元之间的平均数差异显著不同于因素的全部主效应时，双因素之间的交互作用就发生了。或者可以这样理解，当双因素实验研究的结果以图形呈现的时候，如果存在不平行的折线，则说明存在交互作用。、
• 协变量：在实验的设计中，协变量是一个独立变量（解释变量），不为实验者所操纵，但仍影响实验结果。协变量（covariate）在心理学、行为科学中，是指与因变量有线性相关并在探讨自变量与因变量关系时通过统计技术加以控制的变量。常用的协变量包括因变量的前测分数、人口统计学指标以及与因变量明显不同的个人特征等。
• 协方差分析 亦称“共变量（数）分析”。方差分析的引申和扩大。基本原理是将线性回归与方差分析结合起来，调整各组平均数和 F 检验的实验误差项，检验两个或多个调整平均数有无显著差异，以便控制在实验中影响实验效应（因变量）而无法人为控制的协变量（与因变量有密切回归关系的变量）在方差分析中的影响。
• 随机误差也称为偶然误差和不定误差，是由于在测定过程中一系列有关因素微小的随机波动而形成的具有相互抵偿性的误差。其产生的原因是分析过程中种种不稳定随机因素的影响,如室温、相对湿度和气压等环境条件的不稳定,分析人员操作的微小差异以及仪器的不稳定等。随机误差的大小和正负都不固定,但多次测量就会发现,绝对值相同的正负随机误差出现的概率大致相等,因此它们之间常能互相抵消,所以可以通过增加平行测定的次数取平均值的办法减小随机误差。
• 显著性，又称统计显著性（Statistical significance）， 是指零假设为真的情况下拒绝零假设所要承担的风险水平，又叫概率水平，或者显著水平

1.2 单因素方差分析的方差分析表

在统计学上，通常称$SS$为总平方和，$S{S}_A$为因素$A$的平方和，$S{S}_e$为误差平方和，分解式$SS=S{S}_A+S{S}_e$为该模型的方差分析
当比值$S{S}_A/S{S}_e$大于某一给定界限时，否定$H_0$，不然就接受$H_0$。为了构造$F$分布的检验统计量，我们假定随机误差$e_{ij}$满足正态分布$N(0,{\sigma }^2)$，同时我们也假定观察值$Y_{ij}$符合正态分布，此时，记 M S A = S S A / ( k − 1 ) , M S e = S S e / ( n − k ) MS_A = SS_A/(k-1), \quad MS_e = SS_e/(n-k) MSA​=SS