性能度量 | 模型评估指标的局限性

01 评估指标的局限性

问题1 准确率的局限性

• 当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要的因素。
  举例：当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。
• 可以使用更为有效的平均准确率(每个类别下的样本准确率的算术平均)作为模型评估的指标。
• 模型的好坏，标准答案其实也不限于指标的选择，即使评估指标选择对了，仍会存在模型过拟合或欠拟合、测试集和训练集划为不合理、线下评估与线上测试的样本分布存在差异等一系列问题，但评估指标的选择是最容易被发现，也是最可能影响评估结果的因素。

问题2 精确率Precision与召回率Recall的权衡

• 精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。
• 召回率是指分类正确的正样本个数占真正的正样本个数的比例。
• Precision值和Recall值是即矛盾又统一的两个指标，为了提高Precision值，分类器需要尽量在更有把握时才把样本预测为正样本，但此时往往会因为过于保守而漏掉很多没有把握的正样本，导致Recall值降低。
• 回到问题中来，模型返回的Precision@5的结果非常好，也就是说排序模型Top5的返回值的质量是很高的。但在实际应用过程中，用户为了找一些冷门的视频，往往