Tensorflow计算正确率、精确率、召回率、虚警率和漏检率

目录

1.二分类评价标准介绍

2. Tensorflow实现代码

---

1.二分类评价标准介绍

在进行二分类后需要对分类结果进行评价，评价的标准除了常用的正确率之外还有召回率精确度，虚警率和漏警率等。首先介绍一下最常用的正确率

正确率(Accuracy)表示政府样本被正确分类的比例，计算公式如下：

其中NTP 表示正类样本被正确分类的数目，NTN表示负类样本被正确分类的数目，NFP表示负类样本被分为正类的数目，NFN表示正类样本被分为负类的数目。

精确率（Precision）表示原本为正类样本在所有被分为正类样本(正的被分为正的+错的被分为正的)的比例

召回率（Recall）表示原本为正类样本在原本正类样本(正的被分为正的+正的被分为错的)的比例

虚警率（False alarm）表示负类样本被分为正类样本在所有负类样本中的比例

漏警率表示（Missing alarm）表示正类样本被分为负类样本在所有正类样本中的比例

2. Tensorflow实现代码

计算公式已经在第一节给出了，代码实现最难的部分不是计算而是对于数据格式的转换。本文背景为，利用保存好的模型在测试集上进行测试，然后对测试集的分分类结果进行评估。建议先看下这篇博客：Tensorflow在训练好的模型上进行测试。

直接上代码，其中函数的predict是预测结果，也就是神经网络的输出，real是真实的标签，sess就是tensorflow当前的会话，feed_dict是需要喂的数据。下面详细讲解一下代码

函数tf.argmax()返回值是是数值最大值的索引位置，如果最大值位置相同，则分类正确，反之则分类错误

    predictions = tf.argmax(predict, 1)
    actuals = tf.argmax(real, 1)

下面的代码是将上述代码获得到变量设置为元素为0或者1的矩阵，在后面计算的时候只需要按照逻辑与计算即可

    ones_like_actuals = tf.ones_like(actuals)
    zeros_like_actuals = tf.zeros_like(actuals)
    ones_like_predictions = tf.ones_like(predictions)
    zeros_like_predictions = tf.zeros_like(predictions)

后面的都是按第一节公式计算的部分

 tp_op = tf.reduce_sum(
        tf.cast(
            tf.logical_and(
                tf.equal(actuals, ones_like_actuals),
                tf.equal(predictions, ones_like_predictions)
            ),
            "float"
        )
    )

    tn_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, zeros_like_actuals),
            tf.equal(predictions, zeros_like_predictions)
          ),
          "float"
        )
    )

    fp_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, zeros_like_actuals),
            tf.equal(predictions, ones_like_predictions)
          ),
          "float"
        )
    )

    fn_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, ones_like_actuals),
            tf.equal(predictions, zeros_like_predictions)
          ),
          "float"
        )
    )

完整函数代码

def tf_confusion_metrics(predict, real, session, feed_dict):

    predictions = tf.argmax(predict, 1)
    actuals = tf.argmax(real, 1)

    ones_like_actuals = tf.ones_like(actuals)
    zeros_like_actuals = tf.zeros_like(actuals)
    ones_like_predictions = tf.ones_like(predictions)
    zeros_like_predictions = tf.zeros_like(predictions)

    tp_op = tf.reduce_sum(
        tf.cast(
            tf.logical_and(
                tf.equal(actuals, ones_like_actuals),
                tf.equal(predictions, ones_like_predictions)
            ),
            "float"
        )
    )

    tn_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, zeros_like_actuals),
            tf.equal(predictions, zeros_like_predictions)
          ),
          "float"
        )
    )

    fp_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, zeros_like_actuals),
            tf.equal(predictions, ones_like_predictions)
          ),
          "float"
        )
    )

    fn_op = tf.reduce_sum(
        tf.cast(
          tf.logical_and(
            tf.equal(actuals, ones_like_actuals),
            tf.equal(predictions, zeros_like_predictions)
          ),
          "float"
        )
    )
    tp, tn, fp, fn = session.run([tp_op, tn_op, fp_op, fn_op], feed_dict)

    tpr = float(tp)/(float(tp) + float(fn))
    fpr = float(fp)/(float(fp) + float(tn))
    fnr = float(fn)/(float(tp) + float(fn))

    accuracy = (float(tp) + float(tn))/(float(tp) + float(fp) + float(fn) + float(tn))

    recall = tpr
    precision = float(tp)/(float(tp) + float(fp))

    f1_score = (2 * (precision * recall)) / (precision + recall)

    

 

计算评价标准的函数不难，难得是调用函数，贴一下使用训练好的模型进行测试的代码，这部分可以结合：https://blog.csdn.net/sinat_35821976/article/details/80765145 来看。

with tf.Session() as sess:
    saver = tf.train.import_meta_graph('./model.ckpt.meta')
    saver.restore(sess, './model.ckpt')# .data文件
    pred = tf.get_collection('pred_network')[0]

    graph = tf.get_default_graph()
    x = graph.get_operation_by_name('x').outputs[0]
    y_ = graph.get_operation_by_name('y_').outputs[0]

    y = sess.run(pred, feed_dict={x: test_x, y_: test_y})

最后一行y，即网络输出是tensor,而实际标签test_y的类型也是ndarray。但是在函数def tf_confusion_metrics(predict, real, session, feed_dict)中predict、real需要为tensor类型，feed_dict中的数据不能为tensor类型，因此需要讲y转为ndarry类型，然后将test_y转为tensor类型，然后调用函数。具体实现如下：

predictLabel = tf.constant(y)
predictLabel =  predictLabel.eval()         # 将tensor转为ndarray
realLabel = tf.convert_to_tensor(test_y)    # 将ndarray转为tensor
tf_confusion_metrics(y, realLabel, sess, feed_dict={predict: predictLabel , real:test_y})