模型评估指标

回归模型评估指标

均方误差(MSE)

$$MSE=\frac{1}{m}\sum _{i=1}^m(y_{test}^{(i)}-{\hat{y}}_{test}^{(i)}{)}^2$$

from sklearn.metrics import mean_squared_error

print(mean_squared_error(y_true, y_predict))

均方根误差(RMSE)

$$RMSE=\sqrt{MSE}$$

平均绝对误差(MAE)

$$MAE=\frac{1}{m}\sum _{i=1}^m|y_{test}^{(i)}-{\hat{y}}_{test}^{(i)}|$$

from sklearn.metrics import mean_absolute_error

print(mean_absolute_error(y_true, y_predict))

R方(R Square)

• 主要的评估指标，具备统一评价指标，范围<=1

$$R^2=1-\frac{{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2}{{\sum }_{i=1}^m(\overline{y}-y^{(i)}{)}^2}=1-\frac{MSE}{var(y)},var表示方差$$

from sklearn.metrics import r2_score

print(1 - mean_squared_error(y, y_predict)/np.var(y))
print(r2_score(y, y_predict))  # sk-learn中的R方

分类模型评估指标

准确度

计算预测正确的样本占所有测试集的比例

from sklearn.metrics import accuracy_score

 # 根据测试结果与预测结果求准确度
    score1 = accuracy_score(y_test, y_predict)
    # 根据测试集求准确度
    score2 = KNN_classifier.score(x_test, y_test)

混淆矩阵

• 对于极度偏斜的数据，使用准确度来评价分类结果是远远不够的
  对于二分类问题

行代表真实值，列代表预测值

0 —— negative 1—— positive

	0（预测）	1（预测）
0（真实）	预测negative正确的数量（TN）	预测positive错误的数量（FP）
1（真实）	预测negative错误的数量（FN）	预测positive正确的数量（TP）

from sklearn.metrics import confusion_matrix

# 混淆矩阵
confusion_matrix(y_test, y_predict)

• 精准率
  $$precision=\frac{TP}{TP+FP}$$

from sklearn.metrics import precision_score

precision_score(y_test, y_predict)

• 召回率
  $$recall=\frac{TP}{TP+FN}$$

from sklearn.metrics import recall_score

recall_score(y_test, y_predict)

精准率与召回率互相牵制

• 调和平均值

$$\frac{1}{F1}=\frac{1}{2}(\frac{1}{precision}+\frac{1}{recall})$$

$$F1=\frac{2precision\ast recall}{precision+recall}$$

from sklearn.metrics import f1_score

f1_score(y_test, y_predict)

ROC曲线

• TPR

$$TPR=recall=\frac{TP}{TP+FN}$$

• FPR

$$FPR=\frac{FP}{TN+FP}$$

from sklearn.metrics import roc_curve

fprs, tprs, thresholds = roc_curve(y_test, decision_scores)

plt.plot(fprs, tprs)
plt.xlabel('fpr')
plt.ylabel('tpr')
plt.title('ROC curve')
plt.show()

• ROC曲线面积，面积越大，模型越好

from sklearn.metrics import roc_auc_score

roc_auc_score(y_test,decision_scores)

多分类中的混淆矩阵

# 精确率与召回率
precision_score(y_test, y_predict, average='micro')
recall_score(y_test, y_predict, average='micro')