回归算法常见的评估指标
1、均方误差（MSE）
M S E ( y , y ′ ) = 1 n ∑ i = 1 n ( y i − y i ′ ) 2 \displaystyle \mathrm {MSE}(y,y') = \frac{1}{n} \sum_{i=1}^n (y_i - y_i')^2 MSE(y,y′)=n1i=1∑n(yi−yi′)2
2、平均绝对误差（MAE）
M A E ( y , y ′ ) = 1 n ∑ i = 1 n ∣ y i − y i ′ ∣ \displaystyle \mathrm {MAE}(y,y') = \frac{1}{n} \sum_{i=1}^n |y_i - y_i'| MAE(y,y′)=n1i=1∑n∣yi−yi′∣
3、平均绝对百分比误差（MAPE）
MAPE（平均绝对百分比误差）MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型
M
A
P
E
(
y
,
y
′
)
=
∑
i
=
1
n
∣
y
i
−
y
i
′
y
i
∣
n
×
100
\displaystyle \mathrm {MAPE}(y,y') = \frac{\sum_{i=1}^n |\frac{y_i - y_i'}{y_i}|}{n} \times 100
MAPE(y,y′)=n∑i=1n∣yiyi−yi′∣×100
4、均方根误差（RMSE）
R M S E ( y , y ′ ) = 1 n ∑ i = 1 n ( y i − y i ′ ) 2 \displaystyle \mathrm {RMSE}(y,y') = \sqrt {\frac{1}{n} \sum_{i=1}^n (y_i - y_i')^2} RMSE(y,y′)=n1i=1∑n(yi−yi′)2
二分类算法常见的评估指标
1、混淆矩阵（Confuse Matrix）
- （1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
- （2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
- （3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
- （4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )
2、准确率（Accuracy）
准确率是常用的一个评价指标，但是不适合样本不均衡的情况。
A
c
c
u
r
a
c
y
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
\displaystyle \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}
Accuracy=TP+TN+FP+FNTP+TN
3、精确率（Precision）
又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
P
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
\displaystyle \mathrm{Precision} = \frac{TP}{TP + FP}
Precision=TP+FPTP
4、召回率（Recall）
又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
R
e
c
a
l
l
=
T
P
T
P
+
F
N
\displaystyle \mathrm{Recall} = \frac{TP}{TP + FN}
Recall=TP+FNTP
5、F1-Score
精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1-Score。
F
1
−
S
c
o
r
e
=
2
1
P
r
e
c
i
s
i
o
n
+
1
R
e
c
a
l
l
=
2
⋅
P
r
e
c
i
s
i
o
n
⋅
R
e
c
a
l
l
P
r
e
c
i
s
i
o
n
+
R
e
c
a
l
l
\displaystyle \mathrm{F1-Score} = \frac{2}{\frac{1}{Precision} + \frac{1}{Recall}} = \frac{2 \cdot Precision \cdot Recall}{Precision+Recall}
F1−Score=Precision1+Recall12=Precision+Recall2⋅Precision⋅Recall
6、P-R曲线（Precision-Recall Curve）
P-R曲线是描述精确率和召回率变化的曲线
将样本按照按照预测为正例的概率值从大到小进行排序，从第一个开始，逐个将当前样本点的预测值设置为阈值，有了阈值之后，即可得出混淆矩阵各项的数值，然后计算出P和R，以R为横坐标，P为纵坐标，绘制于图中，即可得出P-R曲线，示意图如下。
当一个模型a的P-R曲线完全包住另一个模型b的P-R曲线时，即可认为a优于b。其他情况下，可以使用平衡点，也即F1值，或者曲线下的面积来评估模型的好坏。
完美二分类数据得到的P-R曲线与坐标轴构成的图形应当是一个正方形。
7、ROC（Receiver Operating Characteristic）
ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）（又叫召回率）定义为 Y 轴。
- 假正例率（FPR）：错误预测为正样本（FP）占负样本(TN+FP)的百分比
F P R = F P F P + T N \displaystyle \mathrm {FPR} = {\frac {\mathrm {FP}} {\mathrm {FP} + \mathrm {TN}}} FPR=FP+TNFP - 真正例率（TPR）：正确预测为正样本（TP）占正样本(TP+FN)的百分比
T P R = T P T P + F N \displaystyle \mathrm {TPR} = {\frac {\mathrm {TP}} {\mathrm {TP} + \mathrm {FN}}} TPR=TP+FNTP
类似的，将样本按照按照预测为正例的概率值从大到小进行排序，从第一个开始，逐渐的将其和其之前的点预测为正例，其他的预测为反例，这样就能计算出TPR和FPR，以FPR为横坐标，TPR为纵坐标，即可绘制出ROC（Receiver Operating Characteristic）曲线，示意图如下。
完美二分类数据得到的ROC应当是一个垂直的曲线。
8、AUC（Area Under ROC Curve）
ROC曲线下面覆盖的面积称为AUC（Area Under ROC Curve）。用于评估模型的好坏，面积的计算可以通过梯形去插值计算，公式和示意图如下：
A
U
C
=
1
2
∑
i
=
1
m
−
1
(
x
i
+
1
−
x
i
)
⋅
(
y
1
+
y
i
+
1
)
AUC = \frac{1}{2} \sum_{i=1}^{m-1} (x_{i+1}-x_i) \cdot (y_1+y_{i+1})
AUC=21i=1∑m−1(xi+1−xi)⋅(y1+yi+1)
又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。
多分类算法常见的评估指标
其实多分类的许多评价指标的计算方式与二分类基本一样，只不过我们计算的是针对于每一类来说的召回率、精确度、准确率和 F1分数。
1、混淆矩阵（Confuse Matrix）
- （1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
- （2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
- （3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
- （4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )
2、准确率（Accuracy）
准确率是常用的一个评价指标，但是不适合样本不均衡的情况，医疗数据大部分都是样本不均衡数据。
A
c
c
u
r
a
c
y
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
\displaystyle \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}
Accuracy=TP+TN+FP+FNTP+TN
3、精确率（Precision）
精确率(Precision)是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率在被所有预测为正的样本中实际为正样本的概率，精确率和准确率看上去有些类似，但是是两个完全不同的概念。精确率代表对正样本结果中的预测准确程度，准确率则代表整体的预测准确程度，包括正样本和负样本。
P
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
\displaystyle \mathrm{Precision} = \frac{TP}{TP + FP}
Precision=TP+FPTP
4、召回率（Recall）
召回率(Recall)是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率。
R
e
c
a
l
l
=
T
P
T
P
+
F
N
\displaystyle \mathrm{Recall} = \frac{TP}{TP + FN}
Recall=TP+FNTP
5、宏查准率（macro-P)
计算每个样本的精确率然后求平均值
m
a
c
r
o
P
=
1
n
∑
1
n
P
i
\displaystyle \mathrm{macroP} = \frac{1}{n} \sum_1^nP_i
macroP=n11∑nPi
6、宏查全率（macro-R)
计算每个样本的召回率然后求平均值
m
a
c
r
o
R
=
1
n
∑
1
n
R
i
\displaystyle \mathrm{macroR} = \frac{1}{n} \sum_1^nR_i
macroR=n11∑nRi
7、宏F1（macro-F1)
m a c r o F 1 = 2 ⋅ m a c r o P ⋅ m a c r o R m a c r o P + m a c r o R \displaystyle \mathrm{macroF1} = \frac{2 \cdot macroP \cdot macroR}{macroP+macroR} macroF1=macroP+macroR2⋅macroP⋅macroR
与上面的宏不同，微查准查全，是先将多个混淆矩阵的TP,FP,TN,FN对应位置求平均，然后按照P和R的公式求得micro-P和micro-R，最后根据micro-P和micro-R求得micro-F1
8、微查准率（micro-P)
m i c r o P = T P T P + F P \displaystyle \mathrm{microP} = \frac{TP}{TP + FP} microP=TP+FPTP
9、微查全率（micro-R)
m i c r o R = T P T P + F N \displaystyle \mathrm{microR} = \frac{TP}{TP + FN} microR=TP+FNTP
10、微F1（micro-F1)
m i c r o F 1 = 2 ⋅ m i c r o P ⋅ m i c r o R m i c r o P + m i c r o R \displaystyle \mathrm{microF1} = \frac{2 \cdot microP \cdot microR}{microP+microR} microF1=microP+microR2⋅microP⋅microR
金融风控预测类常见的评估指标
对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov)
KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于
- ROC曲线将真正例率和假正例率作为横纵轴
- K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。
公式如下：
K
S
=
m
a
x
(
T
P
R
−
F
P
R
)
KS=max(TPR-FPR)
KS=max(TPR−FPR)
KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。
以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。
| KS（%） | 好坏区分能力 |
|---|---|
| 20以下 | 不建议采用 |
| 20-40 | 较好 |
| 41-50 | 良好 |
| 51-60 | 很强 |
| 61-75 | 非常强 |
| 75以上 | 过于高，疑似存在问题 |
2、ROC
3、AUC
聚类算法常见的评估指标
暂无整理
scikit-learn具体实现
| Scoring | Function | Comment |
|---|---|---|
| Classification | ||
| accuracy | metrics.accuracy_score | |
| f1 | metrics.f1_score | for binary targets |
| precision etc. | metrics.precision_score | suffixes apply as with ‘f1’ |
| recall etc | metrics.recall_score | suffixes apply as with ‘f1’ |
| Regression | ||
| neg_mean_absolute_error | metrics.mean_absolute_error | |
| neg_mean_squared_error | metrics.mean_squared_error |
参考文献
【1】模型评估指标：P-R曲线和ROC曲线
【2】Datawhale零基础入门金融风控 Task1 赛题理解
【3】3.3. Metrics and scoring: quantifying the quality of predictions
【4】Datawhale 零基础入门数据挖掘-Task1 赛题理解
扫一扫
6208
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
