吴恩达机器学习第二章 学习笔记

吴恩达机器学习 第二章 模型评估与选择

2.1经验误差与过拟合

经验误差

m样本数量，Y样本正确结果，预测结果Y’——>错误a个

error rate：E=a/m 误差：|Y-Y’| accuracy=1-E

训练集上的误差称为“训练误差”或“经验误差”，新样本上的误差称为“泛化误差”

过拟合

把训练样本自身的一些特点当作所有潜在样本都具有的性质，泛化能力下降

欠拟合容易克服，而过拟合较为麻烦且无法彻底避免

2.2评估方法

通常可利用实验测试对泛化误差进行评估并做出选择，因此构造测试集。
数据集D产生训练集S和测试集T的方法
1.留出法：直接划分为两个互斥的集合。

注意：
1.尽可能保持分布的一致性，如分类问题可采用“分层采样”
2.若干次随机划分、重复进行试验评估，返回平均值作为留出法的结果
3.S通常为（2/3-4/5）D

2.交叉验证法： 分层取样得到k个互斥子集D_i，每次取k-1个子集的并集为S，余下的为T，返回k次测试结果的均值，“k折交叉验证“。

为减小因样本划分不同而引入的差别，k折交叉验证常要随机使用不同的划分重复p次，”p折k次交叉验证“。
令k=m样本数，模型与D相近，计算开销大，”留一法“。

3.自助法：自助采样（有放回随机采样）生成测试集D‘，适用于数据集较小的情况。
4.调参与最终模型
对每种参数配置都训练出模型，可行性较低

常用做法：对每个参数选定范围和变化步长

区分:训练集&#x