推荐算法介绍，思路，技术

最新推荐文章于 2024-07-02 09:55:11 发布

令人智熄

最新推荐文章于 2024-07-02 09:55:11 发布

阅读量2k

点赞数 2

文章标签：推荐算法 java

本文链接：https://blog.csdn.net/qq_38161409/article/details/88640411

版权

最近学习推荐算法，看了一些博客，发现有一些错误的地方，故重新拿过来整合总结一下：

1.基于流行度的方法

根据PV(页面浏览量)，UV(独立访客)，日均PV来计算，

优点	简单，适合新用户
缺点	无法针对用户提出个性化的推荐

2.协同过滤算法CF

基于用户的CF算法

分析各个用户对item的评价（通过浏览记录、购买记录等）；
依据用户对item的评价计算得出所有用户之间的相似度；
选出与当前用户最相似的N个用户；
将这N个用户评价最高并且当前用户又没有浏览过的item推荐给当前用户。

行是不同的用户，列是所有物品，(x, y)的值则是x用户对y物品的评分（喜好程度）。我们可以把每一行视为一个用户对物品偏好的向量，然后计算每两个用户之间的向量距离，使用下面的余弦相似度公式:

这里的分别代表向量A和B的各分量,结果集中，越接近1表示两个用户在这个方面越相似。最后，我们要为用户1推荐物品，则找出与用户1相似度最高的N名用户（设N=2）评价的物品，去掉用户1评价过的物品，则是推荐结果。

基于物品的CF计算方式大致相同，只是关联矩阵变为了item和item之间的关系，若用户同时浏览过item1和item2，则(1,1)的值为1，最后计算出所有item之间的关联关系如下：

Item-CF和User-CF的选择

user和item数量分布以及变化频率
1. 如果user数量远远大于item数量, 采用Item-CF效果会更好, 因为同一个item对应的打分会比较多, 而且计算量会相对较少
2. 如果item数量远远大于user数量, 则采用User-CF效果会更好, 原因同上
3. 在实际生产环境中, 有可能因为用户无登陆, 而cookie信息又极不稳定, 导致只能使用item-cf
4. 如果用户行为变化频率很慢(比如小说), 用User-CF结果会比较稳定
5. 如果用户行为变化频率很快(比如新闻, 音乐, 电影等), 用Item-CF结果会比较稳定
相关和惊喜的权衡
1. item-based出的更偏相关结果, 出的可能都是看起来比较类似的结果
2. user-based出的更有可能有惊喜, 因为看的是人与人的相似性, 推出来的结果可能更有惊喜
数据更新频率和时效性要求
1. 对于item更新时效性较高的产品, 比如新闻, 就无法直接采用item-based的CF, 因为CF是需要批量计算的, 在计算结果出来之前新的item是无法被推荐出来的, 导致数据时效性偏低;
2. 但是可以采用user-cf, 再记录一个在线的用户item行为对, 就可以根据用户最近类似的用户的行为进行时效性item推荐;
3. 对于像影视, 音乐之类的还是可以采用item-cf的;

优点：简单，准确

缺点：

依赖于准确的用户评分；
在计算的过程中，那些大热的物品会有更大的几率被推荐给用户；
冷启动问题。当有一名新用户或者新物品进入系统时，推荐将无从依据；
在一些item生存周期短（如新闻、广告）的系统中，由于更新速度快，大量item不会有用户评分，造成评分矩阵稀疏，不利于这些内容的推荐。

对于矩阵稀疏的问题，有很多方法来改进CF算法。比如通过矩阵因子分解（如LFM），我们可以把一个nm的矩阵分解为一个nk的矩阵乘以一个k*m的矩阵。这里的k可以是用户的特征、兴趣爱好与物品属性的一些联系，通过因子分解，可以找到用户和物品之间的一些潜在关联，从而填补之前矩阵中的缺失值。

3.基于内容的算法

现在系统里有一个用户和一条新闻。通过分析用户的行为以及新闻的文本内容，我们提取出数个关键字，如下图：

将这些关键字作为属性，把用户和新闻分解成向量，如下图：

之后再计算向量距离，便可以得出该用户和新闻的相似度了。这种方法很简单，如果在为一名热爱观看英超联赛的足球迷推荐新闻时，新闻里同时存在关键字体育、足球、英超，显然匹配前两个词都不如直接匹配英超来得准确，系统该如何体现出关键词的这种“重要性”呢？这时我们便可以引入词权的概念。在大量的语料库中通过计算（比如典型的TF-IDF算法），我们可以算出新闻中每一个关键词的权重，在计算相似度时引入这个权重的影响，就可以达到更精确的效果。

sim(user, item) = 文本相似度(user, item) * 词权

然而，经常接触体育新闻方面数据的同学就会要提出问题了：要是用户的兴趣是足球，而新闻的关键词是德甲、英超，按照上面的文本匹配方法显然无法将他们关联到一起。在此，我们可以引用话题聚类：

利用word2vec一类工具，可以将文本的关键词聚类，然后根据topic将文本向量化。如可以将德甲、英超、西甲聚类到“足球”的topic下，将lv、Gucci聚类到“奢侈品”topic下，再根据topic为文本内容与用户作相似度计算。

优点：解决了冷启动问题，也不会受到热度的影响

缺点：这种方法会一直匹配到内容关联密切的item，推送内容专业化，单一化。

4.基于模型的算法

基于模型的方法有很多，用到的诸如机器学习的方法也可以很深，这里只简单介绍下比较简单的方法——Logistics回归预测。我们通过分析系统中用户的行为和购买记录等数据，得到如下表：

表中的行是一种物品，x1~xn是影响用户行为的各种特征属性，如用户年龄段、性别、地域、物品的价格、类别等等，y则是用户对于该物品的喜好程度，可以是购买记录、浏览、收藏等等。通过大量这类的数据，我们可以回归拟合出一个函数，计算出x1~xn对应的系数，这即是各特征属性对应的权重，权重值越大则表明该属性对于用户选择商品越重要。

　　在拟合函数的时候我们会想到，单一的某种属性和另一种属性可能并不存在强关联。比如，年龄与购买护肤品这个行为并不呈强关联，性别与购买护肤品也不强关联，但当我们把年龄与性别综合在一起考虑时，它们便和购买行为产生了强关联。比如（我只是比如），20~30岁的女性用户更倾向于购买护肤品，这就叫交叉属性。通过反复测试和经验，我们可以调整特征属性的组合，拟合出最准确的回归函数。最后得出的属性权重如下：