推荐算法
1. slope one
该算法适用于物品更新不频繁,数量相对较稳定并且物品数目明显小于用户数的场景。依赖用户的用户行为日志和物品偏好的相关内容。
- 优点:
- 1.算法简单,易于实现,执行效率高;
- 2.可以发现用户潜在的兴趣爱好;
- 缺点:
- 依赖用户行为,存在冷启动问题和稀疏性问题。
参考:https://blog.csdn.net/xidianliutingting/article/details/51916578
2. 协同过滤
2.1 基于用户的 CF(User CF)
一、找到和目标用户兴趣相似的用户集合——计算两个用户的兴趣相似度
二、找到这个集合中的用户喜欢的,且目标用户没有听说过的物品推荐给目标用户
2.2 基于物品的 CF(Item CF)
一、计算物品之间的相似度矩阵或共现矩阵 。W[i][j] = cij / math.sqrt(N[i] * N[j]) #余弦相似度
二、根据物品的相似度和用户的历史行为给用户生成推荐列表
Co-occurrence Matrix(共现矩阵)和User Preference Vector(用户评分向量)相乘得到的这个Recommended Vector(推荐向量)
使用基于物品的协同过滤,需要维护一个物品相似度矩阵;使用基于用户的协同过滤,需要维护一个用户相似度矩阵。可以设想,如果物品之间的相似度经常变化,那么物品相似度的矩阵则需要经常更新。如果物品经常增加,那么物品相似度的矩阵也会增长的非常快。新闻网站就同时具有这两个特点,所以基于物品的协同过滤并不适用于新闻的推荐。
3. 隐语义模型
N代表用户,M代表物体
第一步:先分解 将用户分解成F个因子的矩阵 将物品也分解成F个因子的矩阵。
第二步:转成机器学习模型:
-
RUI代表用户对物品的关系
-
Pu代表用户对隐藏因子的关系
-
QI代表物品对隐藏因子的关系
-
损失值=预测值-真实值 其中预测值即分解的RUI ,真实值就是真实的RUI,我们希望找出P矩阵(用户和隐藏因子的和关系)和Q矩阵(物品和隐藏因子的关系),实际上就是找出对应的参数,所以这些参数就是我们需要求解的模型,我们将这些参数加入到损失函数里面去,做正则化。
第三步:求解模型
第四步:建模求解,选择正负样本。
-
正样本:用户对物品打分就是正样本。
-
负样本:选取那些很热门,而用户却没有行为的物品。
-
对每个用户,要保证正负样本的平衡(数目相似)
-
对于用户—物品集K {(u,i)},其中如果(u, i)是正样本,则有 ???= 1,负样本则???= 0
第五步:参数选择
-
F值越大,表示映射维度越多。
-
隐特征的个数F,通常F=100
-
学习速率alpha,别太大
-
正则化参数lambda,别太大
-
负样本/正样本比例 ratio
第六步:模型使用
- 根据求得的P和Q,还原回去可得原用户对物品的评分矩阵,从而进行推荐。
4. 关联分析
4.1 Apriori
发现频繁项集的过程:
- 由数据集生成候选项集C1(1表示每个候选项仅有一个数据项);再由C1通过支持度过滤,生成频繁项集L1(1表示每个频繁项仅有一个数据项)。
- 将L1的数据项两两拼接成C2。
- 从候选项集C2开始,通过支持度过滤生成L2。L2根据Apriori原理拼接成候选项集C3;C3通过支持度过滤生成L3……直到Lk中仅有一个或没有数据项为止。
4.2 FPGrowth
FPGrowth算法主要分为两个步骤:FP-tree构建、递归挖掘FP-tree。
- FP-tree构建通过两次数据扫描,将原始数据中的事务压缩到一个FP-tree树,该FP-tree类似于前缀树,相同前缀的路径可以共用,从而达到压缩数据的目的。
- 接着通过FP-tree找出每个item的条件模式基、条件FP-tree,递归的挖掘条件FP-tree得到所有的频繁项集。
import org.apache.spark.mllib.fpm.FPGrowth
val model = new FPGrowth().setMinSupport(minSupport).run(data)