一文详尽系列之模型评估指标

点击上方“Datawhale”，选择“星标”公众号

第一时间获取价值内容

在机器学习领域通常会根据实际的业务场景拟定相应的不同的业务指标，针对不同机器学习问题如回归、分类、排序，其评估指标也会不同。

准确率、精确率、召回率、F1值

定义

• 准确率（Accuracy）：正确分类的样本个数占总样本个数，
• 精确率（Precision）：预测正确的正例数据占预测为正例数据的比例，
• 召回率（Recall）：预测为正确的正例数据占实际为正例数据的比例，
• F1 值（F1 score）：

计算

背景：假如有 100 个广告，某用户对 80 个不感兴趣，对其中 20 个感兴趣，目标是找出所有用户感兴趣的广告，现在挑出 40 个，其中 10 个感兴趣的，请问如何评估一下他的工作。

	实际正类	实际负类
预测正类	TP=10	FP=30
预测负类	FN=10	TN=50

通过混淆矩阵，我们可以算出来 

优缺点

准确率、精确率、召回率、F1 值主要用于分类场景。

准确率可以理解为预测正确的概率，其缺陷在于：当正负样本比例非常不均衡时，占比大的类别会影响准确率。如异常点检测时：99.9% 的都是非异常点，那我们把所有样本都视为非异常点准确率就会非常高了。

精确率可以理解为预测出的东西有多少是用户感兴趣的，召回率可以理解为用户感兴趣的东西有多少被预测出来了。一般来说精确率和召回率是一对矛盾的度量。为了更好的表征学习器在精确率和召回率的性能度量，我们引入 F1 值。

在个别领域可能我们对精确率和召回率的偏重不同，故我们引入  ，来表达出对精确率和召回率的不同偏好。

 时精确率影响力更大，