深度学习中AP、mAP、recall、IoU、NMS的评价指标介绍

1、通过混淆矩阵实例给大家讲解各个指标:

混淆矩阵
预测
01
真实0TNFP
1FNTP

        真阳率:代表将真实正样本划分为正样本的概率

        伪阳率:代表将真实负样本划分为正样本的概率

        精确率:precision = TP / (TP + FP)

        召回率:recall = TP / (TP + FN)

        准确率:accuracy = (TP + TN) / (TP + TN + FP + FN)

2、AP(平均精度)

        平均精度的计算方式这里我讲一种方式。

        假设N个样本中有M个正例,那么我们会得到M个recall值(1/M,2/M,...,M/M),对于每个recall值r,我们可以计算出对应的(r` >=r)最大值precision,然后对这M个precision值取平均即得到最后的AP值,计算方法如下:

 

         AP衡量的是学出来的模型每个类别上的好坏。

3、mAP(平均精度均值)

                                       

        mAP是衡量的学出来的模型在所有类别上好坏,公式如上。

4、precision-recall曲线

        实际多分类任务中,我们需要知道从top-1到top-N(N是所测试样本个数)对应的precision和recall。显然随着我们选定的样本越来越多,recall一定会越来越高,而precision整体会呈下降趋势。把recall当成横坐标,即可得到常用的precision-recall曲线。

                           

5、IOU指标

 6、NMS(非极大值抑制)

        执行原理:选出置信度最高的候选框,如果和当前最高分的候选框重叠面积IOU大于一定阈值,就将其删除。

  • 6
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【资源说明】 1、该资源包括项目的全部源码,下载可以直接使用! 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目,作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能,需要能看懂代码,并且热爱钻研,自行调试。 基于机器学习+深度学习+bert方法的虚假新闻检测项目源码.zip # Fake-News-Detection NKU_2022Fall Python language programming project **虚假新闻检测**项目,简单的**nlp分类**问题 使用**机器学习**、**深度学习**和**bert模型**解决问题 仓库只上传了代码,大文件统统没有上传,下面网盘链接用于下载需要的大文件,照着文件夹融合网盘文件和代码文件即可 [所需附件下载链接](https://pan.baidu.com/s/1WpDSuQgC1HQaVNc8xlpuyQ?pwd=jzkl ) ### 问题描述 数据集是文微信消息,包括微信消息的Official Account Name,Title,News Url,Image Url,Report Content,label。Title是微信消息的标题,label是消息的真假标签(0是real消息,1是fake消息)。训练数据保存在train.news.csv,测试数据保存在test.news.csv。 实验过程先统计分析训练数据【train.news.csv】。根据train.news.csv的Title文字训练模型,然后在test.news.csv上测试,给出Precision, Recall, F1-Score, AUC的结果。 ### 环境配置 使用anaconda集成开发环境,pytorch深度学习框架 具体配置方法我参考的博客链接:[PyTorch环境配置及安装_pytorch配置-CSDN博客](https://blog.csdn.net/weixin_43507693/article/details/109015177) ### 方法介绍 #### 机器学习模型 主要流程就是数据加载、预处理、特征工程、模型训练与评估,nlp的任务需要将文本数据转换成向量数据,这里用了词袋模型和`tyidf`两张方法。 代码在`traditional.py`,都有现成的包用,简单调包调参就行,使用了随机森林、支持向量机、朴素贝叶斯、逻辑回归等方法,有的算法可以加入网格搜索与交叉验证调参,不过感觉如果想继续优化可能得在特征工程部分下手。 最后得到的结果: | 使用模型 | 向量化方法 | acc | recall(1) | precision(1) | auc | | :------------------------------: | :--------: | :----: | :-------: | :------------: | :--: | | 朴素贝叶斯+jieba精确模式 | 词袋模型 | 84.33% | 0.60 | 0.47 | 0.74 | | 同上 | tyidf | 88.97% | 0.33 | 0.80 | 0.66 | | 高斯内核支持向量机+jieba搜索引擎 | 词袋模型 | 86.62% | 0.10 | 0.84 | 0.55 | | 同上 | tyidf | 91.21% | 0.46 | 0.89 | 0.72 | | 随机森林+jieba精确模式 | 词袋模型 | 87.03% | 0.12 | 0.97 | 0.56 | | 同上 | tyidf | 87.18% | 0.13 | 0.98 | 0.56 | | 逻辑回归+jieba精确模式 | 词袋模型 | 90.48% | 0.50 | 0.77 | 0.74 | | 同上 | tyidf | 89.33% | 0.37 | 0.79 | 0.68 | #### 神经网络解决
深度学习,性能指标是用来衡量模型在特定任务上的表现和效果的指标。以下是一些常见的深度学习性能指标: 1. 准确率(Accuracy):准确率是最常用的性能指标之一,用于衡量分类模型在整个测试集上正确分类的样本比例。准确率可以表示为分类正确的样本数除以总样本数。 2. 精确率(Precision)和召回率(Recall):精确率和召回率通常在二分类任务使用。精确率衡量了模型预测为正样本的样本真正为正样本的比例,而召回率衡量了模型正确预测出的正样本占所有真实正样本的比例。 3. F1-score:F1-score是综合考虑精确率和召回率的指标,可以用来平衡两者之间的关系。F1-score是精确率和召回率的调和平均值,计算公式为 F1 = 2 * (Precision * Recall) / (Precision + Recall)。 4. 均方误差(Mean Squared Error, MSE):均方误差常用于回归任务,衡量了模型预测值与真实值之间的差异程度。计算公式为 MSE = 1/N * sum((y_pred - y_true)^2),其 y_pred 是模型的预测值,y_true 是真实值,N 是样本数量。 5. 平均绝对误差(Mean Absolute Error, MAE):平均绝对误差也常用于回归任务,衡量了模型预测值与真实值之间的绝对差异程度。计算公式为 MAE = 1/N * sum(|y_pred - y_true|)。 6. 对数损失(Log Loss):对数损失常用于二分类任务,衡量了模型预测概率与真实标签之间的差异程度。对数损失越小表示模型的预测结果越接近真实标签。 7. 平均精确率均值(Mean Average Precision, mAP):mAP常用于目标检测任务,衡量了模型在不同类别上的检测精度。mAP是所有类别的精确率均值。 这些性能指标在不同的任务和数据集上具有不同的意义和应用。根据具体的深度学习任务类型,我们可以选择适合的性能指标来评估模型的表现,并根据指标的结果进行模型调优和改进。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅蓝的风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值