6.方差分析——单因素检验、事后检验的数学公式与代码实现

1.方差分析的核心

方差分析(Analysis of Variance,ANOVA)是假设检验的一种延续与扩展，主要用来对多个总体均值（三组或三组以上均值）是否相等作出假设检验，研究分类型自变量对数值型因变量的影响。

它的零假设和备择假设分别为：

方差分析的核心
因变量的总变化由两部分引起：

• 自变量引起的变化（可以解释的变化）
• 其他因素引起的变化（无法解释的变化）
  

2.单因素方差分析的前提条件

• 独立性

  • 组内独立（随机抽样、随机分配；样本容量<10%总体容量）
  • 组间独立（非配对）

• 正态性：各组总体服从正态分布

  • 样本容量较大（每组样本容量≥10）时，如果一定程度上违反了正态性，仍可以使用ANOVA
  • 样本容量较小时，如果违反了正态性，则应使用非参数方法进行分析

• 方差齐性：各组总体的方差相等

  • 各组样本的样本容量相等时，如果一定程度上违反了方差齐性，仍可以使用ANOVA
  • 各组样本的样本容量不相等时，如果最大的样本标准差与最小的样本标准差之比不超过2，仍可以使用ANOVA

3.单因素方差分析

4.多重比较

对于方差分析的结论，如果拒绝了原假设H0，则有必要进一步分析，到底是哪两组均值不相等，这就是多重比较。
post-hoc(事后检验)

5.单因素方差分析的SciPy实现

CCSS案例中提供了2030年4月，以及2030、2031、2032年12月四个时间点的消费者信心监测数据， 现希望分析这四个时间点的消费者信心指数平均水平是否存在差异。这里只使用北京消费者的数据进行分析

from scipy import stats as ss
import pandas as pd
import numpy as np
import matplotlib
# 解决绘图的兼容问题
%matplotlib inline
matplotlib.rcParams['font.sans-serif'] = ['SimHei'] 
ccss = pd.read_excel("CCSS_sample.xlsx",sheet_name='CCSS')
ccss.query("s0 == '北京'").groupby('time').index1.describe()
a = ccss.query("s0 == '北京' & time == 203004").index1
b = ccss.query("s0 == '北京' & time == 203012").index1
c = ccss.query("s0 == '北京' & time == 203112").index1
d = ccss.query("s0 == '北京' & time == 203212").index1
ss.levene(a, b, c, d) # 方差齐性检验

6.事后检验的scikit_posthocs代码实现

from scipy import stats as ss
import pandas as pd
import numpy as np
import matplotlib
# 解决绘图的兼容问题
%matplotlib inline
matplotlib.rcParams['font.sans-serif'] = ['SimHei'] 
ccss = pd.read_excel("CCSS_sample.xlsx",sheet_name='CCSS')
import scikit_posthocs as sp
# 创建对象，该对象接收事后检验的数据，并且设置p值校正的方法（控制两两比较的a值）为bonferroni
pc = sp.posthoc_conover(ccss, val_col='index1', group_col='time', p_adjust = 'bonferroni')
# 使用热力图显示比较结果
heatmap_args = {'linewidths': 0.25, 'linecolor': '0.5', 'clip_on': False, 
                'square': True, 'cbar_ax_bbox': [0.80, 0.35, 0.04, 0.3]}
sp.sign_plot(pc, **heatmap_args)

注意:

'bonferroni’通过控制CER，使得全部比较所犯“弃真”错误的最大概率值被控制在所设定的水准以内，其计算公式为：CER=α/c

c为需要进行比较的次数
设置CER，即每次比较使用的α_ij小于α/c