第一章
学习任务大致可分为两类:有监督学习(分类、回归)和无监督学习(聚类)
通常会假设样本空间的采样服从独立同分布原则
归纳偏好:与数据集一致的假设可能有多种,好的算法有一定的偏好来在其中进行选择,而不是随机选择(如奥卡姆剃刀)
NFL:所有的学习算法的性能期望值都相同
第二章
生成训练集与测试集的一般方法
留出法:将数据集划为两个互斥的集合,一个为训练集
,一个为测试集
。划分时要尽可能保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响。多次随机划分并重复实验,取平均值。
交叉验证法:将数据集划分为
个大小相似的互斥子集,每个子集尽可能保持数据分布一致性,每次用其中
个子集作为训练集,剩下
个作为测试集,进行
次训练和测试,最终返回其平均值。通常需要使用不同的划分方法划分出
个子集,可重复
次。
留一法:交叉验证法的一种特例,数据集中样本个数
等于
。
自助法:基于bootstrap sampling。在数据集较小、难以有效划分和
时较有用,但其产生的数据集改变了初始数据集的分布,会引入估计误差,在数据量足够时更常使用留出法和交叉验证法。
考察模型性能的方法1:查准率(Precision)与查全率(Recall),绘制曲线,
度量。
多次训练与测试会得到多个混淆矩阵,可以求解宏或微
。
考察模型性能的方法2:绘制ROC曲线(TPR-FPR),AUC的大小与性能的好坏正相关。AUC考虑的是样本预测的排序质量,因此其与排序误差相关度极大,排序损失的大小可定义为:
考察模型性能的方法3:绘制代价曲线(归一化代价-正例概率代价,西瓜书35页)
考虑代价矩阵后,错误率为:
代价曲线的横轴是取值为的正例概率代价,其中
为样例为正例的概率:
纵轴是取值为的归一化代价: