机器学习第一,二章学习笔记
1.2 基本术语
数据中学得模型的过程称为“学习”或“训练”
预测的是离散值称为分类
预测的是连续值成为回归
聚类就是将训练集中的元素分为若干个组,每个组叫做“族”
我们根据训练拥有标记信息
分为“监督学习”(分类和回归),“无监督学习”(聚类)
1.3 假设空间
从样例中学习:归纳学习
学的模型适用于新样本的能力:泛化
版本空间:存在着与训练集一致的“假设集合”
样例:
(色泽=;根蒂=蜷缩;敲声=浊响)
其版本空间有两个:
(色泽=;根蒂=;敲声=浊响)
(色泽=;根蒂=蜷缩;敲声=*)
2.1 经验误差和过拟合
过拟合
在训练集上表现的很好,在测试集上表现的不好(学习能力过强)。欠拟合就是在训练集上表现的不好(学习能力不足)。
过拟合不可避免:我们要解决的问题通常都是NP问题,若不存在过拟合,则该问题可转化为P问题。
2.2 评估方法
留出法
将数据集D按比例划分为互斥的两个子集S和T,最好按照原样本中的类别比例。这种一般要采用若干次随机划分、重复进行实验评估后取平均值作为实验结果。常见的划分比例是:4:1或者2:1
交叉验证法
a. 首先将数据D划分为k个大小相似的互斥子集,即D 1 ∪ D 2 ∪ . . . ∪ D k , D i ∩ D j = ∅ D,其中每个子集都尽量保持与原数据分布的一致性。
b.每次用k-1个子集的并集作为训练集,余下的子集作测试集,这样可以获得k组训练/测试集,最终返回这k组结果的均值。
c.常用的k值包括5,10,20等。
问题:将数据集划分为k个子集的时候也有多种划分方法,k折交叉验证通常要随机选用不同的划分重复p次,最终的结果是这p次k折的结果。常见的有“10次10折交叉验证” 相当于 100个划分。
特殊:每个子集包含1个样本,只有一种划分方式,就是留一法。(如果数据量大,那么计算开销非常大。评估结果也未必永远准确)
自助法
对数据集进行m次有放回采样得到D‘(训练集),共m个样本。
那么一个样本没有被采样过的概率为:
lim m → ∞ ( 1 − 1 m ) m = 1 e ≈ 0.368 ,所以D\D’用作测试集,D‘作为训练集,测试集的比例约为0.368
针对情况:数据集较小、难以有效划分训练/测试集时比较有用。缺点:改变了初始数据集的样本分布,在数据量足够时,留出法和交叉验证法更常用。
超参数:你自己设置的参数,比如学习率、迭代轮数等。
模型参数:模型反向梯度下降得到的参数。
调参:调的是超参数。
一般是用验证集来测试和调参。
不同的任务侧重于不同的指标。
给定样例集D={(x1,y1),(x2,y2),…(xm,ym)},其中yi是真实标签,则评估学习器的性能。
均方误差:
1.错误率:分类错误的样本数占样本总数的比例。
2.精度:分类正确的样本数占样本总数的比例。
查准率(precision): P = TP/TP+FP,预测为正样本中有多少是真的正样本。
查全率(recall):R=TP/TP+FN,正样本中又多少被正确预测了。
查准率和查全率通常是相互矛盾的,如果把所有瓜都选上,查准率低,如果只想挑好瓜,必然漏了一部分好瓜,查全率就低了。
根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,按此顺序逐个把样本作为正例进行预测,则每次可以计算当前的查全率、查准率。以查准率为纵轴、查全率为横轴作图。
如果一个学习器的P-R曲线被另一个学习器的P-R曲线包住,可断言后者的性能优于前者。
平衡点(Break-Even Point,BEP)
是当查准率=查全率时的取值。可以作为评价哪个学习器更好的指标,如图,A > B(平衡点更大) > C(全包)