Day3 周志华《机器学习》读书笔记之模型选择

微信公众号关注：脑机接口研习社
追踪脑机接口最新发展资讯

系列文章目录

Day1 当脑机接口遇上机器学习：周志华《机器学习》读书笔记之绪论

Day2 周志华《机器学习》读书笔记之模型评估

---

---

前言

脑机接口研习社将推出一系列文章，每篇文章将分成两个部分的内容，第一部分是记录小编读书过程的学习笔记，第二部分是思考每个章节的内容可以如何应用在脑机接口领域。

周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，但这不仅仅只是一本入门书。书的原话：“就算是领域内的专家来看这本书，依旧是会有所收获的，因此这本书是需要精读的，一遍肯定是不够的”。

公众号每周更新两个章节的内容，大家可以和我们一起读书打卡~

Day 3

一、比较检验

Day2我们学习了“留出法、交叉检验法、自助法”三种实验评估方法，它们是用来划分S/T的方法；错误率和精度、查准率和查全率、ROC和AUG是三种性能度量，是标准衡量的几项指标。

关于Day2的学习内容可点击以下链接，进行回顾：

Day2 周志华《机器学习》读书笔记之模型评估

学习器可以等价于算法。

对学习器的性能进行比较的方法是：先使用某种实验评估方法，测得学习器的某个性能度量结果，然后对这些结果进行比较。

如何比较呢？可以使用统计假设检验（hypothesis test）的方法：若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。

机器学习性能比较的几种方法：
性能度量选择错误率这项指标，实验评估方法选择留出法或交叉验证法。

1. 二项分布和二项检验

适用于对单个学习器进行检验，并且仅做了一次留出法。

在包含m个样本的测试集上，泛化错误率为E的学习器被测得测试错误率为E’的概率是：

这个概率符合二项分布（binomial）。

二项检验（binomialtest）：

“二项检验”是“假设检验”中的一种情况：我们知道一个分布服从二项分布，但是不知道这个分布的参数p(正样本出现的概率)。我们手里有一批服从这个分布的样本，我们可以根据这批样本对这个参数的取值范围做一个假设，并设定一个置信度阈值，如果这个假设的可信度超过这个置信度阈值，我们就认为这个假设成立，否则认为不成立。

书中的二项分布的未知参数是模型的真实泛化误差，

做出的假设是：E<=0.3（E是真实泛化误差，0.3是人为指定的）

检验的标准是：假设的置信度设定的置信度阈值 （术语是“显著性水平”，可以理解为条件“是否明显错误的判断标准”，所以可以理解为“非明显错误的判断标准”，即，“可信任的标准”，我称为“置信度阈值”。通常取一个较小的数值，如0.1，0.05，0.01，0.005等）

书中的假设检验的思路是：根据检验标准（即置信度阈值），推断参数可信任的候选区间，如果设定的条件在可信任的候选区间内，则认为条件成立，否则不成立。

Note：
用python如何来进行二项检验：
例如：某地某一时期内出生35名婴儿，其中女性19名（定Sex=0），男性16名（定Sex=1）。问这个地方出生婴儿的性别比例与通常的男女性比例（总体概率约为0.5）是否不同&