吃瓜笔记

机器学习第一，二章学习笔记

1.2 基本术语

数据中学得模型的过程称为“学习”或“训练”
预测的是离散值称为分类
预测的是连续值成为回归
聚类就是将训练集中的元素分为若干个组，每个组叫做“族”

我们根据训练拥有标记信息
分为“监督学习”（分类和回归）,“无监督学习”（聚类）

1.3 假设空间

从样例中学习：归纳学习
学的模型适用于新样本的能力：泛化
版本空间：存在着与训练集一致的“假设集合”
样例：
（色泽=；根蒂=蜷缩；敲声=浊响）
其版本空间有两个：
（色泽=；根蒂=；敲声=浊响）
（色泽=；根蒂=蜷缩；敲声=*）

2.1 经验误差和过拟合

过拟合
在训练集上表现的很好，在测试集上表现的不好（学习能力过强）。欠拟合就是在训练集上表现的不好（学习能力不足）。
过拟合不可避免：我们要解决的问题通常都是NP问题，若不存在过拟合，则该问题可转化为P问题。

2.2 评估方法

留出法

将数据集D按比例划分为互斥的两个子集S和T，最好按照原样本中的类别比例。这种一般要采用若干次随机划分、重复进行实验评估后取平均值作为实验结果。常见的划分比例是：4:1或者2:1

交叉验证法

a. 首先将数据D划分为k个大小相似的互斥子集，即D 1 ∪ D 2 ∪ . . . ∪ D k ， D i ∩ D j = ∅ D，其中每个子集都尽量保持与原数据分布的一致性。
b.每次用k-1个子集的并集作为训练集，余下的子集作测试集，这样可以获得k组训练/测试集，最终返回这k组结果的均值。
c.常用的k值包括5，10，20等。
问题：将数据集划分为k个子集的时候也有多种划分方法，k折交叉验证通常要随机选用不同的划分重复p次，最终的结果是这p次k折的结果。常见的有“10次10折交叉验证” 相当于 100个划分。
特殊：每个子集包含1个样本，只有一种划分方式，就是留一法。（如果数据量大，那么计算开销非常大。评估结果也未必永远准确）

自助法

对数据集进行m次有放回采样得到D‘(训练集)，共m个样本。
那么一个样本没有被采样过的概率为：
lim ⁡ m → ∞ ( 1 − 1 m ) m = 1 e ≈ 0.368 ，所以D\D’用作测试集，D‘作为训练集，测试集的比例约为0.368
针对情况：数据集较小、难以有效划分训练/测试集时比较有用。缺点：改变了初始数据集的样本分布，在数据量足够时，留出法和交叉验证法更常用。

超参数：你自己设置的参数，比如学习率、迭代轮数等。
模型参数：模型反向梯度下降得到的参数。
调参：调的是超参数。
一般是用验证集来测试和调参。

不同的任务侧重于不同的指标。
给定样例集D={(x1,y1),(x2,y2),…(xm,ym)}，其中yi是真实标签，则评估学习器的性能。
均方误差：

1.错误率：分类错误的样本数占样本总数的比例。
2.精度：分类正确的样本数占样本总数的比例。

查准率(precision): P = TP/TP+FP,预测为正样本中有多少是真的正样本。
查全率(recall):R=TP/TP+FN,正样本中又多少被正确预测了。
查准率和查全率通常是相互矛盾的，如果把所有瓜都选上，查准率低，如果只想挑好瓜，必然漏了一部分好瓜，查全率就低了。

根据学习器的预测结果对样例进行排序，排在前面的是学习器认为“最可能”是正例的样本，按此顺序逐个把样本作为正例进行预测，则每次可以计算当前的查全率、查准率。以查准率为纵轴、查全率为横轴作图。
如果一个学习器的P-R曲线被另一个学习器的P-R曲线包住，可断言后者的性能优于前者。

平衡点（Break-Even Point，BEP）
是当查准率=查全率时的取值。可以作为评价哪个学习器更好的指标，如图，A > B(平衡点更大) > C（全包）