AI算法模型师之四件评估“法器”

导语

在AI领域，针对机器学习、自然语言处理等算法模型的评估（evaluation）是一项非常重要的工作，在海量数据中，为使算法模型趋向更准确，需要借助评估方法对算法模型进行评估，然后才能对模型进行针对性的优化、提升算法效率。

本文小编介绍四种评估方法，它们就像法师（数据科学家）使用的法器一样，有着对算法模型评判的奇妙法力，同时能产生算法模型的评估打分结果，为后续算法模型的优化提供依据。这四大法器分别是：准确率（Accuracy）、精确率（Precision）、召回率（Recall）和综合评价指标（F1-Measure）。要当好一个合格的算法师，我们需要熟练掌握这些法器，下面我们逐一摩挲一下它们。

 

 

评估法器一：百发百中箭——准确率评估

古时射箭技艺高超的射手一般都被称为“神射手”，“神射手”射出的箭能够“百步穿杨”、中靶率基本是百发百中，这个就是准确率的概念。而在机器学习中，对于算法模型预测的准确率，也是看其能够百发几中的概率。本文介绍的第一个评估法器就是：Accuracy，即准确率评估，它是对模型预测的正确数量所占总预测数量的比例进行评估的一项指标。

新冠疫情爆发期，对病患的核算检测进行确诊是一项重要工作，我们可以用大数据AI算法进行新冠肺炎感染病患的进行预测。在预测中，可以使用准确率公式来表达新冠肺炎预测是否感染的正确及错误：

其中：TP=预测新冠确诊病人数，并判断正确；TN=预测健康人数，并判断正确；FP=预测新冠确诊病人数，但判断错误；FN=预测健康人数，但判断错误。

我们可以举例，假设对20人进行新冠肺炎的确诊情况进行预测，该数据实际情况和使用二元分类算法模型（即判断要么确诊新冠、要么为健康）预测如下：

以上，黄色——TP=2，预测与实际都为新冠感染患者人数（预测正确）

蓝色——TN=14，预测与实际都为健康人数（预测正确）

红色——FP=1，预测为新冠感染患者，实际是健康的人数（预测错误）

白色——FN=3，预测为健康人员，实际是新冠感染患者人数（预测错误）

针对上述数据集进行预测的模型准确率，计算如下：