西瓜书第一、二章 绪论、模型评估与选择

第一章 绪论

1.1引言

机器学习定义:利用经验改善系统自身的性能

经验对于计算机而言是数据,所以机器学习就是利用人工智能来进行数据分析

1.2基本术语

数据集:拿到的所有数据构成的集合

训练:建立模型的过程

测试:使用模型

• 1考察模型的好坏,使用的瓜的好坏性已知
•  2 给新数据,预测好瓜还是坏瓜

示例:(青绿,蜷缩,浊响) ,样例(青绿,蜷缩,浊响,好瓜)

属性,特征:色泽 属性值:青绿

属性空间,样本空间,输入空间:以属性张成的空间,该例为三维,x轴色泽,y轴,根蒂 ,z轴敲声

标记空间,输出空间:

假设:学习到的模型

真相:正确的模型

学习器:在给定参数,问题下的模型

泛化:模型处理未知样本的能力,推广能力

1.3学习任务分类

按数据是离散还是连续)

1. 分类  a二分类 b多分类
2. 回归

所有的多分类可以分解为二分类(典型)

按有没有标签

• 有标签 监督学习
• 无标签 无监督学习

1.4归纳偏好

定义:在学习过程中,对某种类型假设的偏好

任何一个有效的机器学习算法必有其偏好

奥卡姆剃刀理:都能解决一个问题,找一个最简单的,但是如何判定哪个"简单",很复杂

学习算法的归纳偏好是否与问题本身匹配大多数时候直接决定了算法能否取得好的性能

1.5 NFL定理:

算法A若在某些问题上比算法B好,必存在另一些问题上算法B比算法A效果好

NFL定理的重要前提:

所有"问题"出现的机会相同,或所有问题同等重要

虽然NFL定理前提条件现实情况不太可能,但是具体问题选择最适合的算法是真理,空泛地追求最好地学习算法无意义.

最优方案:按需设计,量身定制

1.6计算学习理论

最重要的理论模型是pac:概论近似模型

解释:在很高的概率下得到一个很好的模型

---

第二章 模型评估与选择

2.1泛化能力:

定义:很好地适用未知样本,例如,错误率低,精度高

• 泛化误差：在"未来"样本上的误差
• 经验误差：在训练集上的误差，亦称"训练误差"

泛化误差越小越小,但是经验误差并不是越小越好

经验误差太小,可能导致过拟合

2.2过拟合和欠拟合

训练树叶地过程中,过拟合特征,认为树叶都必须含有锯齿

欠拟合特征,认为绿色地都是树叶

经验误差一直降低,拟合程度呈现U型曲线,太高欠拟合,太低过拟合

2.3模型选择三大问题

如何获得测试结果？ 评估方法(我用模型评估未来数据,但是可能没有未来数据,也不能知道测试结果如何)

如何评估性能优劣？ 性能度量

如何判断实质差别？ 比较检验 会不会因为一次实验的结果好,要证明在统计以上上实验的结果好

2.4评估方法

关键:怎么获得"测试集"

测试集与训练集互斥

常见方法:(都是从原始数据集中划分出"测试集")

1留出法

2交叉验证法

3自助法

留出法

将拥有的数据集划分为训练集和测试集

注意：

保持数据分布一致性（例如：分层采样）不能训练集全是好瓜,测试集全是坏瓜

多次重复划分（例如：100次随机划分）

测试集不能太大，不能太小（例如：1/5~1/3)

太大,训练的效果不佳

太小,预测结果量化不佳

注意:1留出法的目的是选择最佳模型,所以最后模型的训练应基于全部样本

当用80个样本来训练,20个样本来测试时,选出了模型A后,用全部100样本再次训练模型A最后再返回给用户

问题:可能有的数据从来没出现在训练集或者测试集,希望数据的全部信息,模型都考虑到了

K-折交叉验证法

D划分为D1-D10也有偶然性,所以这个过程再做10次,

10折交叉验证一共100次

自助法

抽取出来样本的集合作为训练集,36.8%没有出现的作为测试集

2.5调参与验证集

算法的参数：一般由人工设定，亦称"超参数"

模型的参数：一般由学习确定

调参过程相似：先产生若干模型，然后基于某种评估方法进行选择参数调得好不好对性能往往对最终性能有关键影响

区别：训练集 vs.测试集 vs.验证集（validation set)

验证集是原先训练集的一部分,专门用来评价参数

算法参数选定后，要用"训练集+验证集"重新训练最终模型

2.6性能度量

回归任务常用均方误差

分类任务

错误率:100次预测有多少次预测错了

精度:100次预测有多少次预测对了

查准率又称精确度,预测为正的结果多少真实情况为正

查全率又称召回率 ,所有正样本多少被你预测出来了

2 AUC-ROC

ROC 曲线的纵轴是"真正例率"TPR,横轴是"假正例率"

,

2.7比较检验

在某种度量下取得评估结果后，是否可以直接比较以评判优劣？
因为：
测试性能不等于泛化性能
测试性能随着测试集的变化而变化
很多机器学习算法本身有一定的随机性

常用方法

统计假设检验（hypothesistest)为学习器性能比较提供了重要依据
两学习器比较
交叉验证t检验（基于成对t检验）
k折交叉验证；5x2交叉验证
McNemar 检验（基于列联表，卡方检验）

---

仅用于学习,笔记内容来源于 <<机器学习初步>> 周志华教授 网课

地址:机器学习初步 - 南京大学 - 学堂在线 (xuetangx.com)