准确率Accuracy的局限性

前提问题分析：

Hulu的奢侈品用户广告主们希望把广告定向投放给奢侈品用户。Hulu通过第三方数据平台（DMP)拿到了一部分奢侈品用户的数据，并以此为训练集合测试集，训练和测试奢侈品用户的分类模型。该模型的分类准确率超过了95%，但在实际广告投放过程中，该模型还是把大部分广告投给了非奢侈品用户，还肯能是什么原因造成的？

准确率的局限性

准确率是指分类正确的样本占总样本的比例：

Accuarcy=

Nc是正确分类的样本个数，Nt是总样本的个数

准确率是样本分类问题中最简单也是最直观的评价指标。但存在明显的缺陷。

比如负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时。占比大的类别往往成为影响准确率的最主要因素。

 

明确了这一点，这个问题就解决了。显然奢侈品用户只占hulu会员的一小部分，虽然模型的整体分类准确率高，但不代表对奢侈品用户分类准确率也很高，在线上投放过程中，我们之后对模型判定的奢侈品用户进行投放，因此，对奢侈品用户 判定的准确率不够高就放大了。为了解决这个问题，可以使用更为有效的平均准确率（每个类别下的样本准确率的算术平均）作为模型评估的指标。