西瓜书CH1-2
CH1 定义与概念
分类:预测离散值
回顾:预测连续值
无监督学习:
有监督学习:
泛化能力:模型适用于新样本的能力;
奥卡姆剃刀原理:称为“如无必要,勿增实体”,即“简单有效原理”。
CH2 评估与选择
混淆矩阵,错误率与精度;需要在过拟合和欠拟合之间找到平衡点。
评估方法
通过测试集,来测试学习器对新样本的判别能力,以测试集上的测试误差作为泛化误差的近似。下面给出两个划分测试集的方法:
留出法(hold_out)
直接将数据集D划分为两个互斥的集合;在划分中尽量保持数据分布的一致性,即保留类别比例,可用分层采样的方式。由于划分方式的不同,评估结果会千差万别,所以需要多次进行随机划分,重复得出评估值。
另外,对于测试集的划分,常见做法是大约2/3或4/5作为训练,剩余样本作为测试。
交叉验证法(cross validation)
将数据集划分为k个大小相似的互斥子集,通过分层采样;然后将k-1个子集的并集作为训练集,剩余作为测试集;这样可以进行k次训练和测试,最终评估结果取这k次的均值。通常又称为,k折交叉验证。k最常用的取值是10,其他也用5、20等。<