大数据：推荐系统

大数据：推荐系统

下面是我看《大数据—互联网大规模数据挖掘与分布式处理》一书第九章的总结。

1 效用矩阵：推荐系统处理对象是用户和项。该矩阵提供某个用户对某个项的喜好程度。通常而言，大部分元素未知，推荐系统是基于已知项对未知元素进行预测。

2 两类推荐系统：发现相似项以及用户对相似项的反应预测某个用户对某个项的反应。一类是基于内容，寻找项的特征计算相似度。一类是协同过滤，通过用户对项的偏好计算用户相似度 或通过喜欢项的用户计算项的相似度。

3 项模型 ：项的特征构成。不同项特征不同，基于特征算内容相似度。文档特征通常是具有区分度的词，产品特征主要源于其属性值。

4 用户模型：基于内容的协同过滤中，通过用户喜欢的项当中的特征出现频率来构建用户模型。然后基于项模型和用户模型的相近程度来估计用户对项的喜好程度。

5 项的分类：构建用户模型的另一个方法是为每个用户构建一个分类器，如决策树。效用矩阵用户对应的行为训练数据，分类器预测用户对所有项的喜好结果。

6 效用矩阵行与列的相似度：Jaccard距离 余弦距离 归一化

7 用户聚类和项聚类：相似度计算中将相似度很高的聚成一个类或者簇。

8 UV分解 预测效用矩阵中空白元素的方法，找到两个细长矩阵U，V，他们的乘积与效用矩阵相似。UV真实乘积可预测效用矩阵空白元素。

9 RMSE：度量效用矩阵与UV相似度的指标。

10 U V 计算：开始设置UV为随机值，重复对U V某个元素进行调整以最小化RMSE值。

11 NetFlix竞赛：推荐系统研究的重要推力来自于NetFlix 竞赛。预测电影评分必须比现有NetFlix算法好左右。