【Spark】协同过滤

最新推荐文章于 2023-09-02 12:31:59 发布
最新推荐文章于 2023-09-02 12:31:59 发布
阅读量736 收藏 3
点赞数
分类专栏： 技术备忘 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/buracag_mc/article/details/100668984
版权

同步于Buracag的博客

协同过滤通常用于推荐系统。这些技术旨在根据user-item关联矩阵的缺失条目。 spark.ml目前支持基于模型的协同过滤，其中users和items由一小组可用于预测缺失条目的潜在因子（latent factors）描述。 spark.ml使用交替最小二乘（ALS）算法来学习这些潜在因素。 spark.ml中的实现具有以下参数：

  • numBlocks，是users和items将被分区为多个块的数量，以便并行化计算（默认为10）。
  • rank，是模型中潜在因子（latent factors）的数量（默认为10）。
  • maxIter，是要运行的最大迭代次数（默认为10）。
  • regParam，指定ALS中的正则化参数（默认为1.0）。
  • implicitPrefs，指定是使用显式反馈ALS变体还是使用适用于隐式反馈数据的（默认为false，这意味着使用显式反馈）。
  • alpha，是适用于ALS的隐式反馈变量的参数，其控制偏好观察中的基线置信度（默认为1.0）。
  • nonnegative，指定是否对最小二乘使用非负约束（默认为false）。

**注意：**基于DataFrame的ALS API目前仅支持整数类型的user和item ID。

文章目录

1. 显式和隐式反馈

基于矩阵分解的协同过滤的标准方法将user-item矩阵中的数据视为user对item给出的显式偏好，例如，给予电影评级的用户。

在许多现实世界的用例中，通常只能访问隐式反馈（例如，观看，点击，购买，喜欢，分享等）。 spark.ml中用于处理此类数据的方法取自Collaborative Filtering for Implicit Feedback Datasets。 本质上，这种方法不是试图直接对评级矩阵进行建模，而是将数据视为表示用户操作观察强度的数字（例如点击次数或某人花在观看电影上的累积持续时间）。 然后，这些数字与观察到的用户偏好的置信水平相关，而不是与item的明确评级相关。 然后，该模型试图找到可用于预测user对item的预期偏好的潜在因素。

2. 正则化参数的缩放

我们通过用户在更新用户因素（user factors）时产生的评级数或在更新产品因素（product factors）时收到的产品评级数来缩小正则化参数regParam以解决每个最小二乘问题。 这种方法被命名为“ALS-WR”，并在“Large-Scale Parallel Collaborative Filtering for the Netflix Prize”一文中进行了讨论。 它使regParam较少依赖于数据集的规模，因此我们可以将从采样子集中学习的最佳参数应用于完整数据集，并期望获得类似的性能。

3. 冷启动的策略

在使用ALSModel进行预测时，通常会遇到测试数据集中的user或者item在训练模型期间不存在。这通常发生在两种情况中：

  1. 在生产中，对于没有评级历史且未对模型进行过训练的新user或item（这是“冷启动问题”）。
  2. 在交叉验证期间，数据在训练和评估集之间分配。当使用Spark的CrossValidator或TrainValidationSplit中的简单随机拆分时，实际上很常见的是在评估集中遇到不在训练集中的user 或 item。

默认情况下，当模型中不存在user or item factors时，Spark会在ALSModel.transform期间分配NaN预测。这在生产系统中很有用，因为它表示新用户或项目，因此系统可以决定使用某些后备作为预测。

但是，这在交叉验证期间是不合需要的，因为任何NaN预测值都将导致评估指标的NaN结果（例如，使用RegressionEvaluator时）。这使得模型选择不可能。

Spark允许用户将coldStartStrategy参数设置为“drop”，以便删除包含NaN值的预测的DataFrame中的任何行。然后将根据非NaN数据计算评估度量并且该评估度量将是有效的。以下示例说明了此参数的用法。

**注意：**目前支持的冷启动策略是“nan”（上面提到的默认行为）和“drop”。将来可能会支持更多的策略。

在以下示例中，我们从MovieLens数据集加载评级数据，每行包含用户，电影，评级和时间戳。 然后我们训练一个ALS模型，默认情况下假设评级是显式的（implicitPrefs是False）。 我们通过测量评级预测的均方根误差来评估推荐模型。

# -*- coding: utf-8 -*-
# @Time     : 2019/8/8 19:40
# @Author   : buracagyang
# @File     : als_example.py
# @Software : PyCharm

"""
Describe:
        
"""

from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.recommendation import ALS
from pyspark.sql import Row


if __name__ == "__main__":
    spark = SparkSession.builder.appName("ALSExample").getOrCreate()

    lines = spark.read.text("../data/mllib/als/sample_movielens_ratings.txt").rdd
    parts = lines.map(lambda row: row.value.split("::"))
    ratingsRDD = parts.map(lambda p: Row(userId=int(p[0]), movieId=int(p[1]), rating=float(p[2]), timestamp=long(p[3])))
    ratings = spark.createDataFrame(ratingsRDD)
    (training, test) = ratings.randomSplit([0.8, 0.2])

    # 冷启动策略使用"drop"，不对NaN进行评估
    als = ALS(maxIter=5, regParam=0.01, userCol="userId", itemCol="movieId", ratingCol="rating",
              coldStartStrategy="drop")
    model = als.fit(training)

    predictions = model.transform(test)
    evaluator = RegressionEvaluator(metricName="rmse", labelCol="rating", predictionCol="prediction")
    rmse = evaluator.evaluate(predictions)
    print("Root-mean-square error = " + str(rmse))

    # 对每个用户推荐top 10的movie
    userRecs = model.recommendForAllUsers(10)
    # 对每部电影推荐top 10的user
    movieRecs = model.recommendForAllItems(10)

    # 为指定的用户组推荐top 10的电影
    users = ratings.select(als.getUserCol()).distinct().limit(3)
    userSubsetRecs = model.recommendForUserSubset(users, 10)
    # 为指定的电影组推荐top 10的用户
    movies = ratings.select(als.getItemCol()).distinct().limit(3)
    movieSubSetRecs = model.recommendForItemSubset(movies, 10)
    userRecs.show(10)
    movieRecs.show(10)
    userSubsetRecs.show()
    movieSubSetRecs.show()

    spark.stop()

结果如下:

Root-mean-square error = 1.65962683297
+------+--------------------+
|userId|     recommendations|
+------+--------------------+
|    28|[[92, 4.7627287],...|
|    26|[[22, 5.353035], ...|
|    27|[[75, 4.7605653],...|
|    12|[[12, 5.364489], ...|
|    22|[[51, 5.1232195],...|
|     1|[[34, 6.5673475],...|
|    13|[[93, 3.92995], [...|
|     6|[[25, 5.123874], ...|
|    16|[[85, 5.03955], [...|
|     3|[[51, 4.974762], ...|
+------+--------------------+
only showing top 10 rows

+-------+--------------------+
|movieId|     recommendations|
+-------+--------------------+
|     31|[[28, 3.4169104],...|
|     85|[[16, 5.03955], [...|
|     65|[[23, 4.9267926],...|
|     53|[[23, 6.9966245],...|
|     78|[[24, 1.1653752],...|
|     34|[[1, 6.5673475], ...|
|     81|[[11, 4.0272694],...|
|     28|[[18, 4.8363395],...|
|     76|[[14, 4.6251163],...|
|     26|[[12, 4.3116484],...|
+-------+--------------------+
only showing top 10 rows

+------+--------------------+
|userId|     recommendations|
+------+--------------------+
|    26|[[22, 5.353035], ...|
|    19|[[98, 3.8704958],...|
|    29|[[30, 4.1840963],...|
+------+--------------------+

+-------+--------------------+
|movieId|     recommendations|
+-------+--------------------+
|     65|[[23, 4.9267926],...|
|     26|[[12, 4.3116484],...|
|     29|[[8, 4.954544], [...|
+-------+--------------------+

如果评级矩阵是从另一个信息源派生的（即从其他信号推断出来），您可以将implicitPrefs设置为True以获得更好的结果：

als = ALS(maxIter=5, regParam=0.01, implicitPrefs=True, userCol="userId", itemCol="movieId", ratingCol="rating")

相关系列：

【Spark】Pipelines

【Spark】特征工程1-Extractors

【Spark】特征工程2-Transformers

【Spark】分类和回归算法-分类

【Spark】分类和回归算法-回归

【Spark】聚类分析

【Spark】协同过滤

【Spark】频繁项集挖掘

【Spark】模型选择和调优

buracag_mc
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark Mllib 协同过滤测试数据
05-27
spark Mllib 协同过滤测试数据
[Spark]-协同过滤
Code_LT的博客
07-19 433
矩阵分解算法则是期望为每一个用户和视频生成一个隐向量，将用户和视频定位到隐向量的表示空间上（如图2(b)所示），距离相近的用户和视频表明兴趣特点接近，在推荐过程中，我们就应该把距离相近的视频推荐给目标用户。如图2(a)所示，协同过滤算法找到用户可能喜欢的视频的方式很直观，就是利用用户的观看历史，找到跟目标用户Joe看过同样视频的相似用户，然后找到这些相似用户喜欢看的其他视频，推荐给目标用户Joe。用户隐向量就是用户矩阵相应的行向量，而物品隐向量就是物品矩阵相应的列向量。.........
sample_movielens_ratings.txt
09-17
采样的movielens数据集，一般用来推荐模型中的测试。标椎格式txt可以尝试下自己的新模型，这种数据一般用于有评分数据的模型，用于矩阵分解之类的模型。如果是点击与否的模型则不适用。推荐算法模型可以查看我的相关博文，关注即可。多谢点赞。也可以加群获取更多资讯。群里有各种大佬，都是算法专家。
大数据课程K17——Spark的协同过滤法
u013955758的专栏
09-02 1122
用特定的计算方法扫描和指定目标相同的已有用户，根据给定的相似度对用户进行相似度计算，选择最高得分的用户并根据其已有的信息作为推荐结果从而反馈给用户。在已有信息中，用户3已经选择了物品1和物品5，用户2比较偏向于选择物品2和物品4，而用户1选择了物品1、物品4以及物品5。那么完全有理由相信用户1和用户3都选择了相同的物品1和物品5，那么将物品3向用户3推荐也是完全合理的。对于不熟悉的用户，在缺少特定用户信息的情况下，根据用户已有的偏好数据去推荐一个未知物品是合理的。品相似的那些物品，并将这些物品推荐给用户。
spark商品协同过滤
Lay_ZRS的博客
12-28 1827
思路 首先，介绍一下传统的商品协同过滤思路： 获取一段周期内用户-商品交互历史数据记录； 根据交互历史记录，计算两两商品相似度，得到商品相似度矩阵； 根据用户的历史交互商品列表，从商品相似度矩阵中查询每一个商品的相似商品列表，按照相似度排序（出现多次的得分相加），得到最终推荐结果。 转换为spark的思想去考虑，则实现步骤应如下： 获取一段周期内用户-商品交互历史RDD，(wid, gid) 计算用户交互过的所有商品的两两相似度，得到 ((gid1, gid2), score) 根据用户最近交互的n
推荐系统-协同过滤在Spark中的实现
架构师小秘圈
07-25 629
作者：vivo 互联网服务器团队-Tang Shutao现如今推荐无处不在，例如抖音、淘宝、京东App均能见到推荐系统的身影，其背后涉及许多的技术。本文以经典的协同过滤为切入点，重点介绍了被工业界广泛使用的矩阵分解算法，从理论与实践两个维度介绍了该算法的原理，通俗易懂，希望能够给大家带来一些启发。笔者认为要彻底搞懂一篇论文，最好的方式就是动手复现它，复现的过程你会遇到各种...
spark过滤器
这个人很懒什么都没有留下
07-31 587
//过滤你不需要的字段 rdd.filter(x=>{//过滤器 val arr =x.split(",") val jg =arr(3) if(jg.eq("")){//如果为空那就不要了 false }else{ true } }) map进行分组 map(x=>{//按照同类型分组 val arr =x.split(",") val
基于Java的Spark协同过滤FPGrowth和皮尔森关联分析Pearson设计源码
最新发布
04-03
本设计源码提供了一个基于Java的Spark协同过滤FPGrowth和皮尔森关联分析Pearson的设计。项目包含122个文件，主要使用Java编程语言。文件类型包括106个Java源代码文件、8个TXT文件、2个Markdown文档、2个XML配置文件...
基于Spark的分层协同过滤推荐算法
10-17
针对单机模型已经不能满足推荐系统的实时性与扩展性，提出一种基于Spark的分层协同过滤推荐算法。算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法，将用户划分为不同的用户簇;最后...
Spark MLlib协同过滤电影推荐系统Scala源码
03-25
项目概述：本Scala源码项目构建于Spark MLlib平台之上，实现了一套协同过滤的电影推荐系统。项目共包含208个文件，以Scala为主要编程语言，同时整合了JavaScript、CSS和HTML技术。 文件构成： - Scala源文件：9个，...
基于物品的协同过滤算法 （mapreduce）
02-21
基于物品的协同过滤算法 （mapreduce）
spark mllib 协同过滤推荐算法（ALS) python 实现 完整实例程序
03-07
一个完成的spark mllib 协同过滤推荐算法ALS 完整实例程序，基于 spark yarn-client模式运行，另外，包括训练数据。
深入理解Spark ML：基于ALS矩阵分解的协同过滤算法与源码分析
热门推荐
06-26 2万+
http://blog.csdn.net/u011239443/article/details/51752904随着互联网的迅猛发展,为了满足人们在繁多的信息中获取自己需要内容的需求,个性化推荐应用而生。协同过滤推荐是其中运用最为成功的技术之一。其中,基于用户的最近邻法根据相似用户的评分来预测当前用户的评分。然而,在用户数量以及用户评分不足的情况下,该方法存在冷启动和数据稀疏的问题。为了解决这两个问题，业界提出了提出了基于项的最近邻法，利用项之间相似性稳定的特点可以离线计算相似性,降低了在线计算量,提高了推
Spark机器学习之协同过滤算法
xuxu96
04-05 875
Spark机器学习之协同过滤算法 一）、协同过滤 1.1 概念 协同过滤是一种借助"集体计算"的途径。它利用大量已有的用户偏好来估计用户对其未接触过的物品的喜好程度。其内在思想是相似度的定义 1.2 分类 1.在基于用户的方法的中，如果两个用户表现出相似的偏好（即对相同物品的偏好大体相同），那就认为他们的兴趣类似。要对他们中的一个用户推荐一个未知物品， 便可选取若干与其类似的用户并根据他们的喜好计...
Spark机器学习——协同过滤推荐算法
a805814077的博客
04-26 1391
Spark机器学习之协同过滤算法算法的实现
基于SparkALS算法实现协同过滤
不一样的严选
02-23 195
Spark SLA实例（Python版本） https://spark.apache.org/docs/latest/ml-collaborative-filtering.html 测试数据链接：https://github.com/apache/spark/blob/master/data/mllib/als/sample_movielens_ratings.txt 参考： 1.https:...
基于MapReduce实现物品协同过滤算法（ItemCF）
xl.zhang的博客
05-17 1万+
一、背景电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。二、ItemCF简介基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐。简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。如下说明：注：基于物品的协同过滤算法...
基于Spark平台的协同过滤实时电影推荐系统
IronmanJay的博客
03-10 4371
摘要：随着社会逐渐进入信息过载时代，人们对电影个性化推荐服务的要求与日俱增。本文以协同过滤算法为基础进而发掘用户与用户之间的隐含关联，不同电影之间的隐性信息，采集并分析用户对电影的操作记录对用户进行个性化的模型构建，并利用Flume与Kafka建立数据管道，通过Spark系统进行快速计算，从而完成对用户的实时个性化电影推荐。 关键词：个性化推荐；协同过滤；实时推荐；电影推荐；Spark；
单层感知器为什么不能解决异或(XOR)问题
buracag_mc的博客
04-12 1万+
同步于音尘杂记 单层感知器为什么不能解决异或问题(XOR)问题？给出两个思路去考虑这个小问题 最近翻到了自己在印象笔记中学习记录的一些知识点，后续准备系统地整理放在自己的博客上，还请各位不吝指教。 文章目录1. 感知器模型2. 单层感知器模型算法概述3. 线性不可分问题4. "与"、"或"、"非"、"异或问题的证明 1. 感知器模型 感知器模型是美国学者罗森勃拉特（Frank Rosenbla...
idea基于spark协同过滤推荐
06-09
在IDEA中基于Spark实现协同过滤推荐，可以按照以下步骤进行： 1. 导入Spark相关依赖和数据集 ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("Collaborative Filtering Example") .getOrCreate() val ratings = spark.read.format("csv") .option("header", "true") .option("inferSchema", "true") .load("ratings.csv") .drop("timestamp") ``` 其中，`ratings.csv`是包含用户评分数据的文件，每行包括`userId`、`movieId`和`rating`三列，用逗号分隔。 2. 划分训练集和测试集 ```scala import org.apache.spark.ml.recommendation.{ALS, ALSModel} import org.apache.spark.ml.evaluation.RegressionEvaluator val Array(training, test) = ratings.randomSplit(Array(0.8, 0.2)) ``` 将数据集划分为训练集和测试集，其中80%用于训练，20%用于测试。 3. 训练模型 ```scala val als = new ALS() .setMaxIter(5) .setRegParam(0.01) .setUserCol("userId") .setItemCol("movieId") .setRatingCol("rating") val model = als.fit(training) ``` 使用ALS算法训练模型，其中`setMaxIter`设置迭代次数，`setRegParam`设置正则化参数，`setUserCol`、`setItemCol`和`setRatingCol`分别设置用户ID、物品ID和评分列名。 4. 预测评分 ```scala val predictions = model.transform(test) val evaluator = new RegressionEvaluator() .setMetricName("rmse") .setLabelCol("rating") .setPredictionCol("prediction") val rmse = evaluator.evaluate(predictions) println(s"Root-mean-square error = $rmse") ``` 将测试集输入模型进行预测，并使用RMSE指标评估预测效果。 5. 使用模型进行推荐 ```scala val userRecs = model.recommendForAllUsers(10) val movieRecs = model.recommendForAllItems(10) ``` 使用训练好的模型生成用户和物品的推荐结果，其中`recommendForAllUsers`和`recommendForAllItems`分别表示为所有用户和所有物品生成推荐结果，数字10表示每个用户或物品生成的推荐数目。 以上就是基于Spark实现协同过滤推荐的一个简单示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值