吃瓜笔记2

2 模型评估与选择

知识点均来自周志华-西瓜书-机器学习

2.1经验误差与过拟合

错误率
精度
训练误差=经验误差
泛化误差
过拟合、欠拟合

2.2 评估方法

留出法，保留类别比例->分层采样
2/3~4/5

k折交叉验证

自助法：数据集较小难以有效划分DT时较有用，但引入了估计偏差。
D->全样本m次随机采样->m个样本的D’训练集，D\D’测试集。包外估计

数据量足够时，留出法和k折交叉验证更常用 。

调参

2.3 性能度量

均方误差MSE

错误率+精度=1

查准率precision、查全率recall、F1
----------|| 预测正 ||预测反
真值正 || 真正TP ||假反FN
真值反 || 假正FP ||真反TN

P=TP/(TP+FP)，所有预测正例中多少是对的
R=TP/(TP+FN)，有多少正例被检出

P-R曲线
BEP，P=R

调和平均、加权调和平均
F1=（2PR)/(P+R)=(2*TP)/(样例总数+TP-TN)

ROC（Receiver Operating Characteristic)、
AOC（Aera Under ROC Curve)

代价敏感错误率、代价曲线

2.5 偏差与方差

泛化误差=偏差+方差+噪声
偏差，学习算法的期望预测与真实结果的偏离程度，即指示算法本身的拟合能力
方差，训练集变化导致的性能变化，即数据扰动的影响
噪声，期望泛化误差的下界，即学习问题本身的难度