Machine Learning：基本模型评估指数_回归与聚类

回归

• 设$\hat{y}=f(x)$，f为模型，$\hat{y}$为预测值

SSE

• $$SSE=\sum _1^n(y_i-{\hat{y}}_i)$$

MAE

• $$MAE=\frac{{\sum }_1^n|y_i-{\hat{y}}_i|}{n}$$

from sklearn.metrics import mean_absolute_error

MSE

• $$MSE=\frac{{\sum }_1^n(y_i-{\hat{y}}_i{)}^2}{n}$$

from sklearn.metrics import mean_squared_error

RMSE

• $$RMSE=\sqrt{MSE}$$

R-Square

• $$R^2=1-\frac{\sum ({\hat{y}}_i-y_i{)}^2}{\sum ({\overline{y}}_i-y_i{)}^2}$$其中${\overline{y}}_i$为预测label的平均值
• 越接近1越好
• 若预测的所有label都是一个值，则r2 = 0
• 当模型非常糟糕时，r2可以为负数

from sklearn.metrics import r2_score

该指标随着样本数量增加会增大，故使用adjusted r2解决该问题

adjusted R-Square

• $$adjusted{R}^2=1-\frac{(1-R^2)(n-1)}{n-p-1}$$其中，n为samples个数，p为features个数

聚类：外部指标

• 外部指标：设已知某个参考模型以及该模型给出的聚类结果，我们认为参考模型给出的结果是最优结果，而我们的聚类模型评估方案就是看聚类出来的结果与参考模型给出的结果的接近程度。
• 设
  • a: 同时在模型中隶属于相同cluster，在参考模型中也隶属于相同cluster的样本对个数（二元元组）
  • b: 在模型中隶属于相同cluster，在参考模型中不隶属于相同cluster的样本对个数（二元元组）
  • c: 在模型中不隶属于相同cluster，在参考模型中隶属于相同cluster的样本对个数（二元元组）
  • d: 同时在模型中不隶属于相同cluster，在参考模型中也不隶属于相同cluster的样本对个数（二元元组）

Jaccard系数

• $$JC=\frac{a}{a+b+c}$$

from sklearn.metrics import jaccard_score

FM指数

• $$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$

from sklearn.metrics import fowlkes_mallows_score

RAND指数

• $$RI=\frac{2(a+b)}{n(n-1)}$$

# 该API将AI用最大最小规范化
from sklearn.metrics import adjusted_rand_score

聚类：内部指标

• 不依靠参考模型，根据**cluster内部的样本间距（cluster内相似度）和cluster之间的间距（cluster间相似度）**考察聚类效果
• 设
  • avg(c):cluster c的平均两点间距
  • diam(c):cluster c内的最大两点间距
  • dmin(ci, cj):cluster ci and cluster cj之间的最小两点间距
  • dmax(ci, cj):ignore
  • dcen(ci, cj):cluster ci and cj的质心距

DB指数

• $$DBI=\frac{1}{k}\sum _i^{k}ma{x}_{j!=i}(\frac{avg(ci)+avg(cj)}{dcen(ci,cj)})$$

from sklearn.metrics import davies_bouldin_score

Dunn指数

• $$DI=mi{n}_{1<=i<=k}(mi{n}_{j!=i}(\frac{dmin(ci,cj)}{ma{x}_{1<=x<=k}diam(cx)}))$$