风火编程--机器学习之模型评价

模型评价

回归模型

描述
MAE: 预测值与真值的差的绝对值再求平均.

MSE: 预测值与真值的差的平方再求平均.
RMSE: 预测值与真值的差的平方和再求平方根.
R2: 1 - MSE/真值的方差
r2 = 1 - (y_test-y_predict).dot((y_test-y_predict))/len(y_test)/np.var(y_test)
接口
MSE

 from sklearn.metrics import r2_score
mean_squared_error(x_test, y_test)

R2

from sklearn.metrics import r2_score
score = r2_score(x_test, y_test)

分类模型

描述
准确度: 预测准确的样本数/样本总数. 只使用于无偏数据

精准率: 被预测为关注类别(阳性)的样本中真实也为阳性的比例.
precision = TP/(TP+FP)
召回率: 真实值阳性的样本中预测也为阳性的比例.
recall = TP/(FN+TP)
F1: precision华为recall的调和平均值, 放大小值的影响
f1 = 2precisionrecall/(precission + recall)

ROC: 以FPR为横轴TPR为纵轴的曲线, 下方的面积表示模型效果., 适用于有偏数据.
TPR: TP占真值为P的比例. 与召回率同
tpr = TP/(FP+TP)
FPR: FP占真值为N的比例.
fpr = FP/(FN + TP)

TN = lambda y_test, y_predict: np.sum((y_test==0) & (y_predict==0))
TP = lambda y_test, y_predict: np.sum((y_test==1) & (y_predict==1))
FN = lambda y_test, y_predict: np.sum((y_test==1) & (y_predict==0))
FP = lambda y_test, y_predict: np.sum((y_test==1) & (y_predict==1))

当TP+FP == 0 时, precision = recall = 0

接口

准确度

from sklearn.metrics import accuracy_score
score = accuracy_score(y_test,y_predict)

精准率, 召回率, F1

from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score
confusion = confusion_matrix(y_test, y_predict)
precision = precision_matrix(y_test, y_predict)
recall = recall_score(y_test, y_predict)
f1 = f1_score(y_test, y_predict)

ROC

from sklearn.metrics import roc_curve, roc_auc_score
decision_score = clf.decision_function(X_test)
fprs, tprs, thresholds = roc_curve(y_test, decision_scores)
roc_auc = roc_auc_score(y_test, decision_scores)
plt.plot(fprs, tprs)
plt.show()
print(roc_auc)  # 面积