微信公众号关注:脑机接口研习社
追踪脑机接口最新发展资讯
系列文章目录
Day1 当脑机接口遇上机器学习:周志华《机器学习》读书笔记之绪论
文章目录
前言
脑机接口研习社将推出一系列文章,每篇文章将分成两个部分的内容,第一部分是记录小编读书过程的学习笔记,第二部分是思考每个章节的内容可以如何应用在脑机接口领域。
周志华老师的《机器学习》(西瓜书)是机器学习领域的经典入门教材之一,但这不仅仅只是一本入门书。书的原话:“就算是领域内的专家来看这本书,依旧是会有所收获的,因此这本书是需要精读的,一遍肯定是不够的”。
公众号每周更新两个章节的内容,大家可以和我们一起读书打卡~
Day 3
一、比较检验
Day2我们学习了“留出法、交叉检验法、自助法”三种实验评估方法,它们是用来划分S/T的方法;错误率和精度、查准率和查全率、ROC和AUG是三种性能度量,是标准衡量的几项指标。
关于Day2的学习内容可点击以下链接,进行回顾:
学习器可以等价于算法。
对学习器的性能进行比较的方法是:先使用某种实验评估方法,测得学习器的某个性能度量结果,然后对这些结果进行比较。
如何比较呢?可以使用统计假设检验(hypothesis test)的方法:若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于B,以及这个结论的把握有多大。
机器学习性能比较的几种方法:
性能度量选择错误率这项指标,实验评估方法选择留出法或交叉验证法。
1. 二项分布和二项检验
适用于对单个学习器进行检验,并且仅做了一次留出法。
在包含m个样本的测试集上,泛化错误率为E的学习器被测得测试错误率为E’的概率是:
这个概率符合二项分布(binomial)。
二项检验(binomialtest):
“二项检验”是“假设检验”中的一种情况:我们知道一个分布服从二项分布,但是不知道这个分布的参数p(正样本出现的概率)。我们手里有一批服从这个分布的样本,我们可以根据这批样本对这个参数的取值范围做一个假设,并设定一个置信度阈值,如果这个假设的可信度超过这个置信度阈值,我们就认为这个假设成立,否则认为不成立。
书中的二项分布的未知参数是模型的真实泛化误差,