推荐算法中模型评估标准——AUC和 NE

广告电商等推荐算法中，评估模型质量的指标，目前用的较多的有：AUC，NE, Bias.

AUC(area under curve):  名字曲线下面积，曲线指的的是ROC曲线，ROC曲线如下图（a）所示，其中横坐标是假正率（负样本预测为正的比率），纵坐标是真正率（正样本预测为正的比率），很显然，假正率越低同时真正率越高的越好。但这些比率和分类阈值有关，相关比率曲线如图（b），阈值取得越低，更多的样本被预测为正，真正率将会很高，但假正率也增高；反之阈值过高，假正率会很低，但真正率也会变低。我们尽量希望假正率低且虚警率高，所以曲线应该尽可能低靠近左上角。

在推荐算法中，我们不太关心阈值怎么取的问题，因为我们只需要对全部item进行打分并排序就够了，排在前面的N个（N由业务需求决定）推荐给用户。如果在分类问题中，需要制定一个阈值，一般来说，我们会选择一个比较折中的阈值，在图（a)的equal error rate位置，这个位置是左上角到右下角连线与ROC曲线的交点，这时候假正率和假负率相等，认为比较平衡。

AUC是曲线下面积，这个值越接近1，表面曲线越靠近左上角，认为模型性能越好。