AI模型评价指标

AI模型评价指标

分类模型评价指标

指标定义

转载：

• Confusion Matrix, Accuracy, Precision, Recall, F1 Score
• What’s a good F1 score?

代码

from sklearn.metrics import precision_score, recall_score, f1_score, accuracy_score, confusion_matrix


def compute_metrics_mutli_cls(y_true, y_pred):
    """
        多分类
        micro:把所有的类放一起算
        macro:先分别求出每个类的precision，再算术平均
        weighted: 不再取算术平均，而是乘以该类在总样本数中的占比
    :param y_true: 真实label
    :param y_pred: 预测label
    """
    print("Accuracy:\t{}".format(accuracy_score(y_true, y_pred)))
    print("Frecision-micro::\t{}".format(precision_score(y_true, y_pred, average='micro')))
    print("Frecision-marco:\t{}".format(precision_score(y_true, y_pred, average='macro')))
    print("Frecision-weighted:\t{}".format(precision_score(y_true, y_pred, average='weighted')))
    print("Recall-micro: \t{}".format(recall_score(y_true, y_pred,average='micro')))
    print("Recal1-marco: \t{}".format(recall_score(y_true, y_pred, average='macro')))
    print("Recal1-weighted:\t{}".format(recall_score(y_true, y_pred, average='weighted')))
    print("F1-Score-micro:\t{}".format(f1_score(y_true, y_pred, average='micro')))
    print("F1-Score-marco:\t{}".format(f1_score(y_true, y_pred, average='macro')))
    print("F1-Score-weighted:\t{}".format(f1_score(y_true, y_pred, average='weighted')))
    # 混淆矩阵：
    print(confusion_matrix(y_true, y_pred))
    

def compute_metrics_two_cls(y_true, y_pred):
    """
        二分类
    :param y_true: 真实label
    :param y_pred: 预测label
    """
    print("Accuracy:\t{}".format(accuracy_score(y_true, y_pred)))
    print("Frecision:\t{}".format(precision_score(y_true, y_pred)))
    print("Recall: \t{}".format(recall_score(y_true, y_pred)))
    print("F1-Score:\t{}".format(f1_score(y_true, y_pred)))


tn, fp, fn, tp = confusion_matrix(test_y, test_predict).ravel()

回归模型评价指标

指标定义

均方根误差（Root Mean Squard Error，RMSE）

均方根误差RMSE计算的是真实值与预测值之间差值的样本标准差，其计算方式相对均方误差MSE添加了根号，RMSE表明预测的离散程度以及真实值与预测值之间的偏差程度，即预测值在真实回归线附近的分布情况，在构建模型进行非线性拟合时，评价指标均方根误差RMSE值越小越好，但均方根误差容易受到极端值/异常值的影响而产生波动，影响真实评估效果。

平均绝对误差（Mean Absolute Error，MAE）

平均绝对误差MAE计算的是真实值与预测值之间绝对误差平均值，其假设所有个体的差异在平均值上的权重是相等的，如RMSE一样，所得值越小表示模型预测误差越小。

平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）

平均绝对百分比误差MAPE表示的是真实值与预测值之间的误差百分比，用于衡量真实观测值和预测值之间的误差程度，该值越小说明预测值接近真实值的程度越高。但MAPE存在一个不足：当预测的真实值很小时，预测后的较小误差将导致MAPE的计算结果增大。

对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error，SMAPE）

针对MAPE的不足，提出对称平均绝对百分比误差SMAPE进行修正，较好地避免MAPE因预测的真实值过小而导致的SMAPE计算结果较大。

决定系数（Coefficient Of Determination，R Squared）

决定系数R Squared反应的是模型对数据样本的拟合程度，预测结果归至[0, 1]之间，值越大表示预测拟合的效果越好。

互相对比
MSE和MAE会由于不同实际应用中，数据的量纲不同，无法直接比较预测值而无法判断模型更适合预测哪个问题。而使用决定系数R Squared可将模型的预测结果转为准确度来衡量，故针对不同的实际应用问题，通过比较预测准确度判断此模型更适合哪个问题。通过上述五种评价指标，可较为全面地、多角度地衡量模型的预测性能。

代码

from sklearn.metrics import mean_squared_error, mean_absolute_error, mean_absolute_percentage_error, r2_score

def regression_evaluation(true_value, pred_value):
    """
        回归问题得到预测结果的指标
    :param true_value:真实值: np.ndarray
    :param pred_value:预测值: np.ndarray
    """
    r2 = r2_score(true_value, pred_value)
    mae = mean_absolute_error(true_value, pred_value)
    rmse = np.sqrt(mean_squared_error(true_value, pred_value))
    mse = mean_squared_error(true_value, pred_value)
    mape = mean_absolute_percentage_error(true_value, pred_value) * 100
    smape = 100 / len(true_value) * np.sum(
        2 * np.abs(pred_value - true_value) / (np.abs(true_value) + np.abs(pred_value)))
    
    print("MAE:\t{:.2f}".format(mae))
    print("MSE:\t{:.2f}".format(mse))
    print("RMSE:\t{:.2f}".format(rmse))
    print("R2:\t{:.2f}".format(r2))
    print("MAPE:\t{:.2f}".format(mape))
    print("SMAPE:\t{:.2f}".format(smape))