检验方法、混淆矩阵、模型评估

假设

$H_0$ ：零假设，不能轻易被否定的命题作为原假设

$H_1$ ：把无把握的、不能轻易肯定的命题作为备择假设

如果一个统计检验的结果拒绝零假设（结论不支持零假设），而实际上真实的情况属于零假设，那么称这个检验犯了第一类错误。

反之，如果检验结果支持零假设，而实际上真实的情况属于备择假设，那么称这个检验犯了第二类错误。

尽量使后果严重的错误成为第一类错误．

• 先定义$\alpha$显著水平
• 定义原假设，即按照常理推断出的情况
• 计算$P$值，如果$P \gt \alpha$ 则拒绝原假设接受$H_1$假设

独立性检验

秩和检验

验证两个样本是否服从同一分布

将两个样本合并后排序，得到每个样本单位的秩次。当几个数据的大小相同秩次却不相同时，最终的秩次取其算术平均。

$H_0$ ：两个总体服从相同的分布

$H_1$ ：两个总体服从不同的分布

显著水平为$a$

求出样本数较少的那个总体的秩和T

查“秩和检验表”，得出临界值$T_1(a)$，$T_2(a)$，若$T1(a)<T<T2(a)$则接受$H_0$

chi squared test ($X^2$test)

$f_o$ : observed观察值

$f_e$ : expected期望值

X2=∑fo−fe