python 中,sklearn包下的f1_score、precision、recall使用方法,Accuracy、Precision、Recall和F1-score公式,TP、FP、TN、FN的概念

目录

1.sklearn.metrics.f1_score

2.sklearn.metrics.precision_score

3.sklearn.metrics.recall_score

4.Accuracy,、Precision、 Recall和F1-score公式​​​​​​​

5.TP、FP、TN、FN的概念


sklearn.metrics.f1_score官网链接sklearn.metrics.f1_score — scikit-learn 1.0.2 documentation

sklearn.metrics.f1_score(y_true, y_pred, *, labels=None, pos_label=1, 
average='binary', sample_weight=None, zero_division='warn')

重要参数说明:

y_true:一维数组,或标签指示数组/稀疏矩阵 (真实值)

y_pred:一维数组,或标签指示数组/稀疏矩阵 (预测值)

pos_label:str or int, default=1

                  报告是否average='binary'且数据为binary的类。如果数据是多类或多标签的,这将                          被忽略;设置labels=[pos_label]和average != 'binary'将只报告该标签的分数。

average:{‘micro’, ‘macro’, ‘samples’,’weighted’, ‘binary’} or None, default=’binary’

                多类/多标签目标时需要此参数。如果为None,则返回每个类的分数。否则,这决定了对数据进行平均的类型:

        “binary”: 只报告由pos_label指定的类的结果。这只适用于目标(y_{true,pred})是二进制的情况。

        “micro”: 通过计算总真阳性、假阴性和假阳性来全局计算指标。

        “macro”: 计算每个标签的度量,并找到它们的未加权平均值。这还没有考虑到标签的不平衡。

         “weighted”:  计算每个标签的指标,并根据支持找到它们的平均权重(每个标签的真实实例数)。这改变了“宏观”的标签不平衡;它会导致一个不介于准确率和召回率之间的f值。

         “samples”:  为每个实例计算指标,并找到它们的平均值(仅对与accuracy_score不同的多标签分类有意义)。

sample_weight:array-like of shape (n_samples,), default=None

           样本的权重

zero_division:“warn”, 0 or 1, default=”warn”

                设置除法为零时返回的值,即所有预测和标签为负数时返回。如果设置为" warn ",这将充当0,但也会引发警告。

返回值:

f1_score:float or array of float, shape = [n_unique_labels]
         二分类中正类的F1分,
         或多类任务中,每个类的F1分的加权平均。

示例:

from sklearn.metrics import f1_score

y_true = [0, 1, 1, 1, 2, 2]
y_pred = [0, 1, 1, 2, 1, 2]

macro_f1 = f1_score(y_true, y_pred, average='macro')

micro_f1 = f1_score(y_true, y_pred, average='micro')

weighted_f1= f1_score(y_true, y_pred, average='weighted')

None_f1 = f1_score(y_true, y_pred, average=None)

print('macro_f1:',macro_f1,'\nmicro_f1:',micro_f1,'\nweighted_f1:',
      weighted_f1,'\nNone_f1:',None_f1)

输出结果:

macro_f1: 0.7222222222222222
micro_f1: 0.6666666666666666
weighted_f1: 0.6666666666666666
None_f1: [1.   0.66666667   0.5  ]

sklearn.metrics.precision_score官网链接

sklearn.metrics.precision_score — scikit-learn 1.1.1 documentation

sklearn.metrics.precision_score(y_true, y_pred, *, labels=None, pos_label=1, 
average='binary', sample_weight=None, zero_division='warn')

重要参数意义与f1-score类似

代码实例:

>>> from sklearn.metrics import precision_score
>>> y_true = [0, 1, 2, 0, 1, 2]
>>> y_pred = [0, 2, 1, 0, 0, 1]
>>> precision_score(y_true, y_pred, average='macro')
0.22...
>>> precision_score(y_true, y_pred, average='micro')
0.33...
>>> precision_score(y_true, y_pred, average='weighted')
0.22...
>>> precision_score(y_true, y_pred, average=None)
array([0.66..., 0.        , 0.        ])
>>> y_pred = [0, 0, 0, 0, 0, 0]
>>> precision_score(y_true, y_pred, average=None)
array([0.33..., 0.        , 0.        ])
>>> precision_score(y_true, y_pred, average=None, zero_division=1)
array([0.33..., 1.        , 1.        ])
>>> # multilabel classification
>>> y_true = [[0, 0, 0], [1, 1, 1], [0, 1, 1]]
>>> y_pred = [[0, 0, 0], [1, 1, 1], [1, 1, 0]]
>>> precision_score(y_true, y_pred, average=None)
array([0.5, 1. , 1. ])

sklearn.metrics.recall_score官网链接 

sklearn.metrics.recall_score — scikit-learn 1.1.1 documentation

sklearn.metrics.recall_score(y_true, y_pred, *, labels=None, pos_label=1, 
average='binary',sample_weight=None, zero_division='warn')

 重要参数意义与f1-score类似

代码实例:

>>> from sklearn.metrics import recall_score
>>> y_true = [0, 1, 2, 0, 1, 2]
>>> y_pred = [0, 2, 1, 0, 0, 1]
>>> recall_score(y_true, y_pred, average='macro')
0.33...
>>> recall_score(y_true, y_pred, average='micro')
0.33...
>>> recall_score(y_true, y_pred, average='weighted')
0.33...
>>> recall_score(y_true, y_pred, average=None)
array([1., 0., 0.])
>>> y_true = [0, 0, 0, 0, 0, 0]
>>> recall_score(y_true, y_pred, average=None)
array([0.5, 0. , 0. ])
>>> recall_score(y_true, y_pred, average=None, zero_division=1)
array([0.5, 1. , 1. ])
>>> # multilabel classification
>>> y_true = [[0, 0, 0], [1, 1, 1], [0, 1, 1]]
>>> y_pred = [[0, 0, 0], [1, 1, 1], [1, 1, 0]]
>>> recall_score(y_true, y_pred, average=None)
array([1. , 1. , 0.5])

Accuracy、Precision、Recall和F1-score公式:

Acccuracy = \frac{TP+TN}{TP+FN+FP+TN}

Precision = \frac{TP}{TP+FP}

Recall = \frac{TP}{TP+FN}

F1-score = \frac{2*(Precision*Recall)}{Precision+Recall}

TP、FP、TN、FN的概念:

TP(True Positive):预测为正,预测结果是正确的

FP(False Positive):预测为正,预测结果是错误的

TN(True Negative):预测为负,预测结果是正确的

FN(False Negative):预测为负,预测结果是错误的

  • 3
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我会尽力回答您的问题!以下是用深度神经网络训练mnist,输出Accuracy (ACC), Precision, Recall, F1 Score (F1),AUC,并画 ROC曲线的Python代码: ```python import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, auc, confusion_matrix, classification_report from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation from keras.optimizers import Adam from keras.utils import np_utils # 加载数据 (X_train, y_train), (X_test, y_test) = mnist.load_data() # 数据预处理 X_train = X_train.reshape(X_train.shape[0], -1) X_test = X_test.reshape(X_test.shape[0], -1) X_train = X_train.astype('float32') / 255. X_test = X_test.astype('float32') / 255. y_train = np_utils.to_categorical(y_train, 10) y_test = np_utils.to_categorical(y_test, 10) # 创建模型 model = Sequential() model.add(Dense(512, input_shape=(784,))) model.add(Activation('relu')) model.add(Dropout(0.2)) model.add(Dense(512)) model.add(Activation('relu')) model.add(Dropout(0.2)) model.add(Dense(10)) model.add(Activation('softmax')) # 编译模型 adam = Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0) model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型 history = model.fit(X_train, y_train, epochs=20, batch_size=128, verbose=1, validation_data=(X_test, y_test)) # 预测测试集 y_pred = model.predict(X_test) # 获取混淆矩阵和分类报告 y_pred = np.argmax(y_pred, axis=1) y_true = np.argmax(y_test, axis=1) cm = confusion_matrix(y_true, y_pred) cr = classification_report(y_true, y_pred, target_names=[str(i) for i in range(10)]) # 输出精度、召回率、F1tn, fp, fn, tp = cm.ravel() precision = tp / (tp + fp) recall = tp / (tp + fn) f1 = 2 * precision * recall / (precision + recall) print('Precision:', precision) print('Recall:', recall) print('F1 Score:', f1) # 计算AUC fpr, tpr, thresholds = roc_curve(y_true, y_pred, pos_label=None) roc_auc = auc(fpr, tpr) print('AUC:', roc_auc) # 画ROC曲线 plt.figure() plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc) plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic') plt.legend(loc="lower right") plt.show() ``` 这段代码首先加载MNIST数据集,并进行数据预处理,然后创建一个包含两个隐藏层的神经网络模型。我们使用Adam优化器进行模型训练,并输出模型精度、召回率、F1值和AUC。最后,我们使用sklearn的roc_curve和auc函数来计算和绘制ROC曲线。 希望能对您有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值