论文笔记|The Wisdom of The Few

今天读了The Wisdom of the Few这篇文章，这里稍作整理。
在推荐系统中，最经典的莫过于协同过滤算法，分为基于用户的协同过滤算法userCF与基于商品的协同过滤算法itemCF，本质上为寻找与你最相近的用户购买的商品或者与你购买过的商品最相近的商品。这两种算法首先都需要建立用户与商品的关系矩阵，值为用户对商品的评价打分或者0/1表示是否用户与商品有过购买等行为。在实际应用场景中，关系矩阵存在高维、稀疏的特性，在进行计算推荐结果时，需要解决高维稀疏向量之间的相似度并进行排序，存在较大的运算复杂度。另一方面，针对冷启动问题，在新用户加入时，如何进行合理的推荐。与根据其他用户进行推荐的思路不同，本文提出了一种根据与“专家”行为相似度进行推荐的思路。在这里，“专家”的定义为在特定领域给出可靠、一致评分的人。
文章首先对比了两个数据集，一个是来自Netflix的普通用户评分数据集，一个是来自网上150个影评专家的评分数据。对比CDF曲线发现，专家给出的评分更加稠密（每位专家观影量较多），而普通用户数据集更大。另外，每个专家的评分数量、每部电影的专家评分数量更加均匀，相比之下普通用户数据集可能存在热门影片的评分远比冷门影片多的情况。对比标准差发现，专家们对同一部电影的评分相对一致，标准差较小（大概在一定程度上表明恶意评分等现象的影响较小），存在更少的噪声。
本文中对比了userCF与expertCF的算法效果，包括评分预测的精确度(平均绝对误差)与TopN推荐结果的precision。相似度的计算方式采取的是一种余弦相似度的变形
$$sim(a,b)=\sqrt{\sum r_{ai}^{}}$$