评价标准 性能良好的评分模型,应该能够给予那些引起msg或click的候选会员更高的评分(排序靠前),从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain(NDCG),定义如下: ![](https://i-blog.csdnimg.cn/blog_migrate/fce9f566d6cd80eb4dd07a3642ff999d.gif) 这里 。其中n为候选会员集合中的总人数, 表示模型给出的排序中,排名为 的候选会员的实际ACTION值(msg=2,click=1,rec=0)。对每一位获得推荐建议的会员A,都需要计算一个相应的NDCG@10。所有获得推荐建议的会员对应的NDCG@10的平均值,作为排名的主要依据。 表示计算NDCG时仅采用排序至多前10的候选会员的ACTION进行计算,因此将尽可能多的msg或click排在前面至关重要。指数变换 是为了增大ACTION间的差异以凸显msg和click的重要性。折扣因子 用来强调越能将msg会员排名靠前的算法越好。例如,两种不同的推荐算法给出的排序对应的真实ACTION如下表所示,由于RANK 1算出的NDCG为0.8045,而RANK 2算出的NDCG仅有0.7579,我们认为RANK 1对应的算法更好。
RANK 1
|
click
|
msg
|
rec
|
click
|
rec
|
RANK 2
|
click
|
click
|
msg
|
rec
|
rec
| 这里给出一个计算NDCG的例子。假设某统计评分模型对5位会员进行了评分,以确定哪位会员更可能获得会员A的青睐(评分越高表示兴趣越大):
USER_ID_B
|
1
|
2
|
3
|
4
|
5
|
模型评分
|
1.2
|
0.7
|
-2.5
|
0.2
|
4.0
|
按评分排序
|
2
|
3
|
5
|
4
|
1
|
ACTION (y)
|
msg (y2=2)
|
click (y3=1)
|
rec (y5=0)
|
rec (y4=0)
|
rec (y1=0)
| 因此对于会员A, ![](https://i-blog.csdnimg.cn/blog_migrate/3c3c62e98532863a0bf27355ed5f2d9c.gif) 如果能够获得的评分足够理想,从而能够完美地预测出会员A关于5位会员的兴趣排序,则此时相应的DCG称为Ideal DCG: ![](https://i-blog.csdnimg.cn/blog_migrate/05d4273c1b6c02257d1f6dd1922c4633.gif) 从而对会员A,![](https://i-blog.csdnimg.cn/blog_migrate/2ed8eb8082b27f6acf66ab9a10731893.gif) |