机器学习笔记-第二章模型评估与选择2

haloory

已于 2022-12-14 13:26:04 修改

阅读量387

点赞数

分类专栏：机器学习文章标签：人工智能 python

于 2020-06-19 16:32:55 首次发布

本文链接：https://blog.csdn.net/m0_46552368/article/details/106333130

版权

机器学习专栏收录该内容

8 篇文章 0 订阅

订阅专栏

比较检验

对学习结果进行性能比较，本节默认以错误率为性能度量，用 $\epsilon$ 表示。

1 假设检验

泛化错误率 $\epsilon$ ：在一个样本上犯错的概率是 $\epsilon$ 。
测试错误率 $\hat{\epsilon}$ ：在 $m$ 个测试样本中恰有 $\hat{\epsilon}\times m$ 个被误分类。

泛化错误率为 $\epsilon$ 的学习器将其中 $m^{'}$ 个样本误分类、其余样本全部分类正确的概率是 $\epsilon^{m'}(1-\epsilon)^{m-m'}$ 。
将 $\hat{\epsilon}\times m$ 个样本误分类的概率为：（在包含 $m$ 个样本的测试集上，泛化错误率为 $\epsilon$ 学习器被测得测试错误率为 $\hat{\epsilon}$ 的概率）
$P(\hat{\epsilon};\epsilon)=\left( \begin{array}{c} m \\ \hat{\epsilon}\times m \end{array} \right)\epsilon^{\hat{\epsilon}\times m}(1-\epsilon)^{m-\hat{\epsilon}\times m}$

方法一：二项检验
一次留出法估计：

结论：
方法二：t 检验
交叉验证法：

结论：
对假设“ $\mu=\varepsilon _{0}$ ”和显著度 $\alpha$ ，计算当测试错误率均值为 $\varepsilon _{0}$ 时，在 $1-\alpha$ 概率内的最大错误率，即为临界值。使用双边t检验。

2 交叉验证 $t$ 检验

针对多个学习器，使用k折交叉验证“成对t检验”，验证 $\varepsilon _i^A=\varepsilon _i^B$ .

3 McNemar检验

针对二分类问题，列出两学习器分类差别列联表，假设两学习器性能相同，McNemar检验考虑变量 $\frac{(|e_{01}-e_{10}|)^2}{e_{01}+e_{10}}$ 服从自由度为1的卡方分布，给定显著度 $\alpha$ ，当以上变量小于临界值 $\chi_{\alpha}^2$ 时，不能拒绝假设，否则认为两者性能有显著差别，且平均错误率较小的那个学习器性能较优。