[KO机器学习] Day 7 模型评估：评估指标的局限性

“没有测量，就没有科学。。” 这是科学家门捷列夫的名言。在计算机科学特别是机器学习领域中，对模型的评估同样至关重要。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。知道每种评估指标的精确定义、有针对性地选择合适的评估指标、根据评估指标的反馈进行模型调整，这些都是机器学习在模型评估阶段的关键问题，也是一名合格的算法工程师应当具备的基本功。

 

场景描述

在模型评估过程中，分类问题、排序问题、回归问题往往需要使用不同的指标进行评估。在诸多的评估指标中，大部分指标只能片面地反映模型的一部分性能。如果不能合理地运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。下面以 Hulu 的业务为背景，假想几个模型评估场景，看看大家能否触类旁通，发现模型评估指标的局限性。

---

知识点：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、均方根误差（Root Mean Square Error， RESE）

---

问题1：准确率的局限性

难度：★☆☆☆☆

       Hulu 的奢侈品广告主们希望把广告定向投放给奢侈品用户。Hulu 通过第三方的数据管理平台 (Data Management Platform， DMP) 拿到了部分奢侈品用户的数据，并以此为训练集和测试集，训练和测试奢侈品用户的分类模型。该模型的分类准确率超过了 95%，但在实际广告投放过程中，该模型还是把大部分广告投给了非奢侈品用户，这可能是什么原因造成的？ 

分析：