周志华机器学习第一章-第二章笔记

第一章 绪论

机器学习：从数据中产生模型的学习算法。

1.基本术语：

反映事件或对象在某方面的表现或性质的事项称为属性或特征；

属性上的取值称为属性值；

属性张成的空间称为属性空间、样本空间或输入空间；

记录的集合是数据集；

每条记录是关于一个事件或对象的描述称为一个示例或样本

从数据中学得模型的过程称为学习或训练；

训练过程使用的数据称为训练数据；

其中的每个样本称为一个训练样本；

训练样本组成的集合称为训练集；

学得模型对应了关于数据的某种潜在的规律，因此亦称为假设；

这种潜在规律自身称为真相或真实；

若欲预测的是离散值，此类学习任务称为分类；只涉及两个类别的叫二分类，其中一个为正类，另一个为反类。涉及多个类别时称为多分类任务

若欲预测的是连续值，此类学习任务称为回归；

学得模型后使用其进行预测的过程称为测试；被预测的样本称为测试样本；

根据训练数据是否拥有标记信息，学习任务可以划分为两大类：监督学习和无监督学习，分类和回归是前者的代表，而聚类是后者的代表。

2.假设空间

两大基本手段:归纳与演绎。
狭义的归纳学习要求从训练数据中学得概念，称为概念学习 或 概念形成。
通过学习得到的模型对应假设空间中的一个假设。
机器学习算法在学习过程中对某种类型假设的偏好称为归纳偏好。

第二章 模型评估与选择

1.经验误差与过拟合

学习器的实际预测输出与样本真实输出之间的差异称为误差，学习器在训练集上的误差称为训练误差或经验误差，

在新样本上的误差称为泛化误差。希望泛化误差最小，但实际不知道新样本是什么样的，只能努力使检验误差最小。

当学习器训练太过以至于把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这种现象就是过拟合。

2.评估方法

用测试集上的测试误差作为泛化误差的近似，需注意i的是，测试集应该尽可能与训练集互斥。
给定一个数据集，下面介绍几种产生训练集和测试集的方法：
（1）留出法
直接将数据集划分为两个互斥的集合。在划分时要尽可能保持数据分布的一致性（每个部分都是分层抽样）。

由于数据的任意性，会导致不同训练/测试集，模型评估会不同，所以单一的留出法不稳定，需要采用若干次随机划分、重复进行实验评估后取平均值作为最终结果。

（2）交叉验证法
将数据集划分为k个互斥的子集，每个子集尽可能保持数据分布的一致性。每次用k-1个子集的并作为训练集，剩下的作为测试集，重复k次，取平均。
类似地，k个集合也存在多种划分方式，所以通常也要随机使用不同的划分重复p次再取均值。
特例：留一法

（3）自助法
以自助采样为基础

（4）
自助法在数据集较小、难以有效划分训练/测试集时很有用
在初始数据量足够时，留出法和交叉验证法更常用些。

（5）调参与最终模型
一般是对每个参数选定一个范围和变化步长
得到模型后，应该用所有数据重新训练模型得到最终模型

3.性能度量

3.1.回归中最常用的是均方误差

3.2.分类任务中常用的性能度量
（1）错误率和精度
适用于二分类和多分类

用分布和概率密度描述


（2）查准率、查全率与F1
对二分类



查准率和查全率一般是矛盾的，所以用“平衡点”（BEP）综合度量，是查准率=查全率时的取值
比较简单，更常用的是F1度量：

当对查准率和查全率侧重不同时，有如下指标

在n个二分类混淆矩阵上综合考察查准率和查全率
第一种：分别计算各矩阵的查准率和查全率再取平均

第二种：对各矩阵的对应元素取平均

（3）POC与AUC
分类阈值，截断点
ROC（受试工作特征）曲线：根据学习器的预测结果对样例进行排序，按此顺序逐个吧样本作为正例进行预测，每次计算出两个重要量的值，分别以他们为横纵坐标作图

纵轴：真正例率TPR；横轴：假正例率FPR

ROC曲线下的面积为AUC

（4）代价敏感错误率和代价曲线

代价矩阵：


在非均等代价下，所希望的不再是简单地最小化错误次数而是希望最小化总体代价

代价曲线，横轴取值为【0,1】的正例概率代价

纵轴是取值为【0,1】的归一化代价：

4.比较检验

4.1假设检验

假设是对学习器泛化错误率分布的某种判断或猜想
二项检验、t检验
交叉验证t检验–k折交叉验证法得到的测试错误率
McNemar检验
Friedman检验（基于算法排序）与Nemenyi检验

5.偏差与方差

“偏差——方差分解”是解释学习算法泛化性能的一种重要工具

假定噪声为0，通过多项式展开合并，对算法的期望泛化误差进行分解：

偏差：刻画学习算法本身的拟合能力
方差：刻画数据扰动所造成的影响
噪声：刻画学习问题本身的难度