在预测任务中,给定样例集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\lbrace(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\rbrace D={ (x1,y1),(x2,y2),…,(xm,ym)},其中 y i y_i yi是示例 x i x_i xi的真实标记, m m m表示样例数量, m + m^+ m+、 m − m^- m−分别表示正例和反例的数量。
回归任务
均方误差(mean squared error)
E ( f ; D ) = 1 m ∑ i = 0 m ( f ( x i ) − y i ) 2 E(f;D)=\frac{1}{m}\sum_{i=0}^{m}{(f(x_i)-y_i)^2} E(f;D)=m1i=0∑m(f(xi)−yi)2
均方根误差(Root Mean Squared Error, RMSE)
E ( f ; D ) = 1 m ∑ i = 0 m ( f ( x i ) − y i ) 2 E(f;D)=\sqrt{\frac{1}{m}\sum_{i=0}^{m}{(f(x_i)-y_i)^2}} E(f;D)=m1i=0∑m(f(xi)−yi)2
平均绝对百分比误差(Mean Absolute Percent Error, MAPE)
E ( f ; D ) = 1 m ∑ i = 0 m ∣ y i − f ( x i ) y i ∣ E(f;D)=\frac{1}{m}\sum_{i=0}^{m}{\left|\frac{y_i-f(x_i)}{y_i} \right|} E(f;D)=m1i=0∑m∣∣∣∣yiyi−f(xi)∣∣∣∣
MAPE相比于MSE和RMSE,不易受个别离群点影响,鲁棒性更强。
R2 score
S S r e s = ∑ i = 0 m ( f ( x i ) − y i ) 2 SS_{res}=\sum_{i=0}^{m}{(f(x_i)-y_i)^2} SSres=i=0∑m(f(xi)−yi)2
S S t o t = ∑ i = 0 m ( y i − y ˉ ) 2 SS_{tot}=\sum_{i=0}^{m}{(y_i-\bar{y})^2} SStot=i=0∑m(yi−yˉ)2
R 2 = 1 − S S r e s S S t o t R^2=1-\frac{SS_{res}}{SS_{tot}} R2=1−SStotSSres
既考虑了预测值与真值之间的差异,也考虑了问题本身真值之间的差异,是一个归一化的度量标准。
分类任务
错误率
分类错误的样本数占总样本数的比例。
E ( f ; D ) = 1 m ∑ i = 0 m I ( f ( x i ) ≠ y i ) E(f;D)=\frac{1}{m}\sum_{i=0}^{m}{ \mathbb{I} (f(x_i)\neq y_i)} E(f;D)=m1i=0∑mI(f(xi)̸=yi