深度学习分类问题中accuracy等评价指标的理解

AAI机器之心

已于 2024-05-05 10:52:50 修改

阅读量1.4k

点赞数 33

文章标签：深度学习分类智能电视计算机视觉人工智能机器学习 MetaGPT

于 2024-01-02 10:24:56 首次发布

本文链接：https://blog.csdn.net/AAI666666/article/details/135334762

版权

在处理深度学习分类问题时，会用到一些评价指标，如accuracy（准确率）等。刚开始接触时会感觉有点多有点绕，不太好理解。本文写出我的理解，同时以语音唤醒（唤醒词识别）来举例，希望能加深理解这些指标。

1，TP / FP / TN / FN

下表表示为一个二分类的混淆矩阵（多分类同理，把不属于当前类的都认为是负例），表中的四个参数均用两个字母表示，第一个字母表示判断结果正确与否（正确用T（True），错误用F（False），第二个字母表示判定结果（正例用P(Positive)，负例用N(Negative)）。四个参数的具体意思如下：

                    ![](https://img-blog.csdnimg.cn/img_convert/1602bbeadf8fea2e566bca85f5154c74.png)

TP (True Positive)：表示实际为正例，判定也为正例的次数，即表示判定为正例且判定正确的次数。

FP (False Positive): 表示实际为负例，却判定为正例的次数，即表示判定为正例但判断错误的次数。

TN (True Negative)：表示实际为负例，判定也为负例的次数，即表示判定为负例且判定正确的次数。

FN (False Negative): 表示实际为正例，却判定为负例的次数，即表示判定为负例但判断错误的次数。

为了帮助理解，我以智能音箱中的语音唤醒（假设唤醒词为“芝麻开门”）来举例。这里正例就是唤醒词“芝麻开门”，负例就是除了“芝麻开门”之外的其他词，即非唤醒词，如“阿里巴巴”。设定评估时说唤醒词和非唤醒词各100次，TP就表示说了“芝麻开门”且被识别的次数（假设98次），FN就表示说了“芝麻开门”却没被识别（判定成负例）的次数（假设2次），FP就表示说了非唤醒词却被识别（判定成正例）的次数（假设1次），TN就表示说了非唤醒词且没被识别的次数（假设99次）。

2，accuracy / precision / recall

accuracy是准确率，表示判定正确的次数与所有判定次数的比例。判定正确的次数是(TP+TN)，所有判定的次数是(TP + TN + FP +FN)，所以

                ![](https://img-blog.csdnimg.cn/img_convert/c642efde29bb6e2b276e79d54e969fde.png)

在语音唤醒例子中，TP = 98，TN = 99，FP = 1, FN = 2, 所以accuracy = (98 + 99) / (98 + 99 + 1 + 2) = 98.5%，即准确率为 98.5%。

precision是精确率，表示正确判定为正例的次数与所有判定为正例的次数的比例。正确判定为正例的次数是TP，所有判定为正例的次数是(TP + FP)，所以

              ![](https://img-blog.csdnimg.cn/img_convert/f094d77a7f8d6ce31b75ef6ba900aa08.png)

在语音唤醒例子中，TP = 98, FP = 1, 所以precision = 98 / (98 + 1) = 99%，即精确率为 99%。

recall是召回率，表示正确判定为正例的次数与所有实际为正例的次数的比例。正确判定为正例的次数是TP，所有实际为正例的次数是(TP + FN)，所以

                ![](https://img-blog.csdnimg.cn/img_convert/2d0c6dbda7d575f7d30b98f8313c1901.png)

在语音唤醒例子中，TP = 98, FN = 2, 所以recall = 98 / (98 + 2) = 98%，即召回率为 98%。在语音唤醒场景下，召回率也叫唤醒率，表示说了多少次唤醒词被唤醒次数的比例。

1， FAR / FRR

FAR (False Acceptance Rate)是错误接受率，也叫误识率，表示错误判定为正例的次数与所有实际为负例的次数的比例。错误判定为正例的次数是FP，所有实际为负例的次数是(FP + TN)，所以

                ![](https://img-blog.csdnimg.cn/img_convert/306149700c12c68118302c2a962c6ebc.png)

在语音唤醒例子中，FP = 1, TN = 99, 所以FAR = 1 / (99 + 1) = 1%，即错误接受率为 1%。在语音唤醒场景下，错误接受率也叫误唤醒率，表示说了多少次非唤醒词却被唤醒次数的比例。

FRR (False Rejection Rate)是错误拒绝率，也叫拒识率，表示错误判定为负例的次数与所有实际为正例的次数的比例。错误判定为负例的次数是FN，所有实际为正例的次数是(TP + FN)，所以

                  ![](https://img-blog.csdnimg.cn/img_convert/fa0f115988811f3aded3848e74f4ef48.png)

在语音唤醒例子中，FN = 2, TP = 98, 所以FRR = 2/ (2 + 98) = 2%，即错误拒绝率为 2%。在语音唤醒场景下，错误拒绝率也叫不唤醒率，表示说了多少次唤醒词却没被唤醒次数的比例。

2， ROC曲线 / EER

ROC(receiver operating characteristic curve)曲线是“受试者工作特征”曲线，是一种已经被广泛接受的系统评价指标，它反映了识别算法在不同阈值上，FRR(拒识率)和FAR(误识率)的平衡关系。ROC曲线中横坐标是FRR(拒识率)，纵坐标是FAR(误识率)，等错误率（EER Equal-Error Rate）是拒识率和误识率的一个平衡点，等错误率能够取到的值越低，表示算法的性能越好。

            ![](https://img-blog.csdnimg.cn/img_convert/a1e86feae4750ae90d3445bd75fd18c0.jpeg)

上图是ROC曲线的示意图，我从语音唤醒的场景来解释。从上图看出FRR低/FAR高时，即拒识率低、误识率高时，智能音箱很容易被唤醒，即很好用。FRR高/FAR低时，即拒识率高、误识率低时，智能音箱不容易被唤醒，即不太方便用，但是很难误唤醒，安全性很高。真正使用时要找到一个FAR和FRR的平衡点(EER)，也就是不那么难唤醒，方便使用，同时也不会有高的误唤醒，保证安全。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述