吃瓜笔记2 模型评估与选择
2 模型评估与选择
知识点均来自周志华-西瓜书-机器学习
2.1经验误差与过拟合
错误率
精度
训练误差=经验误差
泛化误差
过拟合、欠拟合
2.2 评估方法
留出法,保留类别比例->分层采样
2/3~4/5
k折交叉验证
自助法:数据集较小难以有效划分DT时较有用,但引入了估计偏差。
D->全样本m次随机采样->m个样本的D’训练集,D\D’测试集。包外估计
数据量足够时,留出法和k折交叉验证更常用 。
调参
2.3 性能度量
均方误差MSE
错误率+精度=1
查准率precision、查全率recall、F1
----------|| 预测正 ||预测反
真值正 || 真正TP ||假反FN
真值反 || 假正FP ||真反TN
P=TP/(TP+FP),所有预测正例中多少是对的
R=TP/(TP+FN),有多少正例被检出
P-R曲线
BEP,P=R
调和平均、加权调和平均
F1=(2PR)/(P+R)=(2*TP)/(样例总数+TP-TN)
ROC(Receiver Operating Characteristic)、
AOC(Aera Under ROC Curve)
代价敏感错误率、代价曲线
2.5 偏差与方差
泛化误差=偏差+方差+噪声
偏差,学习算法的期望预测与真实结果的偏离程度,即指示算法本身的拟合能力
方差,训练集变化导致的性能变化,即数据扰动的影响
噪声,期望泛化误差的下界,即学习问题本身的难度