制定评估指标是数据挖掘前期很重要的一步,一个好的评估指标要和关心的业务指标波动一致。这样可以通过对比不同模型的评估指标,来评价模型在实际业务中的效果,加快模型迭代周期,降低线上成本。
在推荐系统中评估指标可以分为三类:分类指标,回归指标,排序指标。
分类问题
分类问题输出是物品的类别,对于二分类问题,输出为0/1单个值;对于多分类问题,输出为一个one-hot向量 y = [ 0 , 0 , 1 ] T \textbf{y}=[0, 0, 1]^T y=[0,0,1]T,其中只有一个值为1,为1的列代表了模型预测样本的分类。
精确率和召回率
谈到精确率和召回率就设计到混淆矩阵,为了方便解释,以下未做说明的地方均为二分类任务。
混淆矩阵中TP和TN很清楚,但是FP和FN经常记错,暂时没有什么好办法。
精确率的定义如下:
P = T P T