机器学习第二章 模型评估与选择

2.1经验误差与过拟合

错误率：E=a/m

精度：=1-错误率

训练集上的误差：训练误差或经验误差

新样本上的误差：泛化误差

 

p问题，可以在多项式时间内解决的问题，polynomial problem。

np 问题，可以在多项式的时间里验证一个解的问题，non-deterministic polynomial。

npc问题，是NP的一个子集，且其中每一个问题均能由NP中的任何问题在多项式时间内转化而成，np complete。

 

2.2评估方法

（1）留出法：数据划分，分层采样，大约2/3~4/5样本用于测试；

（2）交叉验证法：k折交叉验证，数据分为k组（k常取10），k-1个用于训练，余下用于测试。留一法：m个样本，k=m。

（3）自助法：以自助采样法为基础，适用于数据集较小，难以有效划分训练/测试集时，测试结果称为“包外估计”。

（4）调参与最终模型

 

2.3性能度量

回归任务常用的性能度量：均方误差

（1）       错误率与精度。

（2）       查准率、查全率与F1：

真正例TP，假反例FN

假正例FP，真反例TN

查准率P=TP/(TP+FP)

查全率R=TP/(TP+FN)

P-R曲线，平衡点：P=R。

F1度量：查准率与查全率的调和平均数F1=2*P*R/(P+R)=2*TP/(总数+TP-TN)

Fβ=(1+β2)*P*R/(β2*P+R), β>1查全率影响大，β<1查准率影响大

微查准率Micro-P=TP/(TP+FP)

微查全率Micro-R=TP/(TP+FN)

微F1=2*micro-P*micro-R/(micro-P+micrp-R)

（3）       ROC与AUC，研究学习器泛化性能

受试者工作特征：ROC

纵轴，真正例率，TPR=TP/(TP+FN)

横轴，假正例率，FPR=FP/(TN+FP)

AUC:ROC曲线下的面积AUC=1-lrank

（4）       代价敏感错误率与代价曲线

正例概率代价P(+)cost=p*cost01/(p*cost01+(1-p)*cost10)

归一化代价cost=[FNR*P*cost01+FPR*(1-P)*cost10]/[ p*cost01+(1-p)*cost10]

 

2.4比较检验

（1）假设检验

二项检验

t检验

（2）交叉验证t检验

（3）McNemar检验

（4）Friedman检验与Nemenyi检验

 

2.5偏差与方差

泛化误差可分解为偏差、方差与噪声之和。

偏差-方差窘境

转载于:https://my.oschina.net/u/3336150/blog/1492763