目录
1、经验误差与过拟合
经验误差及训练误差,我们最终的目标是在新样本上的泛化误差最小,但由于事先不知道新样本是什么样,只好努力使经验误差即训练误差最小化。
然而会出现过拟合,且过拟合是无法避免的:机器学习面临的问题通常是NP难甚至更难,而有效的学习算法必然是在多项式时间内运行完成,若可彻底避免过拟合,则通过经验(训练)误差最小化就能获得最优解,这就意味着我们构造性地证明了“P=NP”;因此,只要相信“P≠NP”,过拟合就不可避免。
2、评估方法
- 留出法:直接将数据集划分为训练集和验证集,为保持分布一致,通常采用分层采样,并采用若干次随机划分,取平均值。
- 交叉验证法:k折交叉验证,为减小因样本划分不同而引入的差别,k折交叉验证通常要随机使用不同的划分重复p次,最终的评估结果是这p次k折交叉验证结果的均值,例如:10次10折交叉验证。若数据集中共m个样本,k=m时为留一法,准确但计算开销大。
- 自助法:即可重复采样,有放回采样。从原本含有m个样本的数据集中采样m次,约有1/3没被采样到的数据用作验证集。
在划分为验证集和训练集后,在训练集上训练,用验证集调参,最后用选定的参数在全部数据上(包括现在的训练集和验证集)训练得到模型,所以原始的训练集和最后的训练集数目越接近越好(否则偏差大),但是验证集又不能太小(否则方差大),所以提出了以上的方法。
3、性能度量
- 衡量模型的泛化能力。均方误差。
3.1 错误率与准确率
- 错误率与准确率
3.2 查准率、查全率与F1
- 查准率、查全率与F1
查准率:模型预测为正中实际为正的
查全率:实际为正的被模型预测为正的
P-R图:平衡点(BEP)
- F1:
- macro、micro
macro:先求各个混淆矩阵的评价指标再求平均
micro:先求TP/FP/TN/FN的均值,在此之上求评价指标
3.3 ROC与AUC
ROC曲线与P-R曲线都是按照预测为正类的概率大小,依次将前n个预测为正类,直到最后一个也预测为正类,在这m个样本也就是m次预测后,将得到m个点,分别计算某一时刻的真正例率与假正例率。
3.4 代价敏感错误率与代价曲线
不同类型的错误所带来的后果不同。
代价敏感错误率(即加权)为
代价曲线