人工智能 精确率 召回率 准确率 概念及用法 理解

以通过核酸检测阳性(TP或FP)确诊新冠病人为例,一般会设定阳性(实际真正有病的)病例为正样本(正例):

精确率P,是指所有核酸检测结果为阳性(TP+FP)的人员中,真正为新冠病人的比例,也就是真阳性人数(检测结果阳性中真为新冠病人的人数,TP)占阳性人员总数的
比值;

召回率R,指所有的新冠病人中,核酸检测结果为阳性的比例,也就是真阳性人数(检测结果阳性中真为新冠病人的人数)占新冠病人总数的比值;

准确率A,指检测的所有人中,检测结果正确的比例,也就是检测结果为真阳性和真阴性的人数占所有人数的比值。

置信度阈值用于判断是是P还是N。大于置信度阈值,判断为P;小于的不用执行后面的IOU判断(因为任一目标的GTs总数=TP+FN)。 
这一步操作实际上是在置信度从大到小排序后,后续的逻辑判断及计算过程中,自动完成置信度阈值的从大到小选取。


IOU阈值用于判断是是T还是F。在NMS前提下(NMS也有阈值),大于IOU阈值,判断为T;小于的为F。

只用于对P样本的判断。

因为求P(精确率)和R(召回率)时,不需要TN。

IOU阈值越小,TP越多,判断为FP的就越少,计算出的P和R就都会越大。


IOU阈值为什么不能特别小?

(1)虽然TP越多,判断为FP的就越少,计算出的P和R就都会越大;

(2)但是阈值越小时,定位准确性会越差,非常小时 定位准确性很差(跟标签重合面积小),而且可能跟临近的别的同类标签相互误判。


所以1副图中只有1个目标物体时,不考虑定位准确性的话,IOU阈值可以很小。

纵撕和疲劳检测,FPR(误检率或过杀率或假阳率)要尽量低,以降低成本,并通过后续判断提高准确性。


FPR=FP/全部真实的负样本=FP/(FP+TN)


一副图中或一个数据集中TN是固定
值或者可认为是固定值,很多时候这个值不需要统计。


FPR=1/(1 + TN/FP)

所以,FP越少越好(FPR越低)。


比如二分类时,没眨眼的图像(或不含纵撕的图像)总数就是N(真实负样本)的总数。

FP是置信度高(>阈值),但IOU值低于阈值,相当于误检出(多检出)的框。

FP越少,则需要置信度阈值尽量大 或 (最好是和)IOU阈值尽量低,或者要求训练及检测
时置信度值结果更准确(不一定是越高或越低更好)。


所以得到低FP(低FPR、高P)的方法就两三个:

1. 增加样本数、优化预处理方法 或 优化算法及网络结构,让置信度值更准;

2. 调高置信度阈值;

3. 调低IOU阈值。


FP是置信度高(>阈值),但IOU值低于阈值,相当于误检出(多检出)的框。

尽量让FP少,TP一般会变多(也可能变少,因为有可能FP+TP总数就少了),即
置信度阈值
调高、IOU阈值调低时,TP的数量不一定变多,
但精确率P会更高(主要是FP会减少)。因为:

P= TP/(TP + FP)= 1/(1 + FP/TP)


纵撕检测,一类故障(目标),也可认为是二分类,只检测一副图中有没有纵撕这个目标,没检测到目标就是没纵撕;


安全帽检测,两类目标,其中未带安全帽的为主要目标,两者关系需进一步分析。


疲劳检测,两类目标,睁眼和闭眼,重点关注闭眼的检测结果。

  • 6
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 华为云AI人工智能开发者入门级考试实验主要包括以下几个步骤: 1. 注册华为云账号:首先,考生需要在华为云官网注册一个华为云账号,获取账号和密码。 2. 登陆华为云平台:使用注册的账号和密码登陆华为云平台,进入控制台。 3. 创建实验环境:在控制台中,选择AI服务,然后选择自然语言处理(NLP)服务,按照指引创建一个NLP实验环境。 4. 获取API密钥:在成功创建实验环境后,进入NLP服务,获取API密钥,确保后续调用接口时能够进行身份验证。 5. 下载并配置实验代码:在实验环境中,选择合适的编程语言(如Python),下载并配置相应的实验代码,以便后续调用API进行开发。 6. 测试API接口:使用下载并配置好的实验代码,调用NLP的API接口,进行简单的测试,确认接口调用正常。 7. 完成自定义开发:根据实验考题要求,进行自定义的开发,可以调用NLP的各种接口,实现相应的功能。 8. 实验报告提交:完成实验开发后,根据考试要求,将实验代码、运行结果以及相关文档整理成实验报告,按照指定格式进行提交。 以上就是华为云AI人工智能开发者入门级考试实验的基本步骤。通过完成实验,考生能够更好地了解和掌握华为云平台上AI服务的使用方法,并能够进行简单的开发和调试。 ### 回答2: 华为云AI人工智能开发者入门级考试实验步骤主要包括以下几个步骤: 第一步:了解实验要求与背景知识 首先,仔细阅读考试实验要求,理解所需完成的任务和考察的知识点。同时,需要掌握一定的人工智能基础知识,如机器学习、深度学习等。 第二步:安装环境与配置相关软件 根据实验要求,安装并配置相关的人工智能开发环境,如Python编程环境、TensorFlow、PyTorch等深度学习框架以及相关的数据处理、数据可视化工具等。 第三步:收集与处理数据 根据实验要求,收集所需的数据集并进行预处理,包括数据清洗、去除异常值等。可使用Python编程语言及相关的数据处理库进行数据处理工作。 第四步:选择与建立模型 根据实验要求,选择合适的机器学习或深度学习模型,并进行模型的建立与调优。可以根据任务需求,选择适合的模型架构,如卷积神经网络、循环神经网络等,并根据实验提供的数据集进行模型训练。 第五步:模型评估与结果分析 使用训练好的模型对测试数据进行预测,并评估模型的性能。可以使用一些评价指标,如准确率召回率精确率等对模型进行评估,并进行结果分析,分析模型的优点与不足之处。 第六步:撰写实验报告 根据实验要求,撰写实验报告,详细介绍实验的整个流程、使用的方法、所得结果以及对结果的分析与讨论。在报告中,要清晰地描述实验步骤,提供相应的代码和结果展示,并给出必要的结论和建议。 总结: 华为云AI人工智能开发者入门级考试实验步骤主要包括了解实验要求与背景知识、安装环境与配置软件、收集与处理数据、选择与建立模型、模型评估与结果分析,以及撰写实验报告。通过这些步骤,考生可以完成实验任务并提交相应的实验报告。 ### 回答3: 华为云AI人工智能开发者入门级考试实验主要包括以下步骤: 1. 准备工作:首先,需要注册华为云账号,并登录华为云AI开发者平台。获取实验相关的资料和教程,确保对相关知识和技能有一定的了解。 2. 环境搭建:根据实验要求,下载和安装相应的开发工具和软件,例如Python编程环境、Jupyter Notebook等。确保环境搭建正确无误。 3. 实验准备:根据实验要求,准备实验所需的数据集和模型。可以使用华为云提供的开放数据集或自己准备的数据集。 4. 实验步骤:根据实验指导,按照步骤进行实验。可能涉及到各种人工智能领域的任务,例如图像识别、语音识别、自然语言处理等。根据具体要求,编写代码、运行程序并进行调试。 5. 实验结果分析与总结:在实验过程中,记录实验结果和观察到的现象,根据实验结果分析实验效果和准确度。进行总结和归纳,发现问题和不足之处。 6. 提交实验报告:根据实验要求,整理实验过程、结果及分析,撰写实验报告。说明实验的目的、方法和技术实现,展示自己对于人工智能开发的理解和应用能力。 7. 评估和反馈:提交实验报告后,会有专业人士对实验报告进行评估和反馈。根据反馈进行改进和学习,提高自己的能力和水平。 总之,华为云AI人工智能开发者入门级考试实验步骤主要包括准备工作、环境搭建、实验准备、实验步骤、实验结果分析与总结、提交实验报告以及评估和反馈。通过这些步骤,可以提升自己在人工智能领域的开发和应用能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值