pyspark mllib ALS 实践

最新推荐文章于 2023-08-15 19:08:29 发布
最新推荐文章于 2023-08-15 19:08:29 发布
阅读量626 收藏 3
点赞数 1
分类专栏： 推荐系统 # Spark ML # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43391383/article/details/104169502
版权
推荐系统 同时被 3 个专栏收录
11 篇文章 1 订阅
订阅专栏
Spark
7 篇文章 0 订阅
订阅专栏
Spark ML
2 篇文章 0 订阅
订阅专栏

数据集 https://tianchi.aliyun.com/dataset/dataDetail?dataId=56

基于 ALS 的 LFM 算法进行候选集召回

# 从用户行为日志数据集behavior_log 7亿 条数据中选取 100万 条
import pandas as pd
import warnings

warnings.filterwarnings("ignore")
path = r'D:\阿里ctr预估数据集\behavior_log.csv\behavior_log.csv\behavior_log.csv' # 大概 22G
# 生成器, chunksize=1000 表示一次读 1000行，1000行为一个 chunk
reader = pd.read_csv(path, chunksize=1000,iterator=True)

num = 0
while(num < 1000):
    chunk = next(reader)
    if not num:
        chunk.to_csv('behavior_log_part.csv', index=False)
    if 0 < num < 1000:
        chunk.to_csv('behavior_log_part.csv', index=False,
                      mode='a+', header=False)
    num += 1
        
d = pd.read_csv('behavior_log_part.csv')
d

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType,\
                              IntegerType, LongType

spark = SparkSession.builder.appName('behavior_log').getOrCreate()
# 设置字段类型
behavior_log_schema = StructType([
    StructField('user', IntegerType()),
    StructField('time_stamp', LongType()),
    StructField('btag', StringType()),
    StructField('cate', IntegerType()),
    StructField('brand', IntegerType()),
])

behavior_log_df = spark.read.csv('behavior_log_part.csv',\
                                 header=True, schema=behavior_log_schema)
behavior_log_df.show();behavior_log_df.count()# 行数

+------+----------+----+-----+------+
|  user|time_stamp|btag| cate| brand|
+------+----------+----+-----+------+
|558157|1493741625|  pv| 6250| 91286|
|558157|1493741626|  pv| 6250| 91286|
|558157|1493741627|  pv| 6250| 91286|
|728690|1493776998|  pv|11800| 62353|
|332634|1493809895|  pv| 1101|365477|
|857237|1493816945|  pv| 1043|110616|
|619381|1493774638|  pv|  385|428950|
|467042|1493772641|  pv| 8237|301299|
|467042|1493772644|  pv| 8237|301299|
|991528|1493780710|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780714|  pv| 7270|274795|
|991528|1493780765|  pv| 7270|274795|
|991528|1493780714|  pv| 7270|274795|
|991528|1493780765|  pv| 7270|274795|
|991528|1493780764|  pv| 7270|274795|
|991528|1493780633|  pv| 7270|274795|
|991528|1493780764|  pv| 7270|274795|
+------+----------+----+-----+------+
only showing top 20 rows

​

1000000

del d

因为除了时间戳以外的都是离散值，没有太多处理的，查看一下各类别频数

# 查看各类别特征的频数
# 第一个 count()是聚合方法，第二个 count() 是 dataframe.count()，查看行数
unique_count = lambda group_obj: group_obj.count().count()

print('用户数', behavior_log_df.groupBy('user').count().count())
print('用户行为类别', behavior_log_df.groupBy('btag').count().count())
print('商品类目数', unique_count(behavior_log_df.groupBy('cate')))
print('品牌数', unique_count(behavior_log_df.groupBy('brand')))

用户数 242109
用户行为类别 4
商品类目数 6044
品牌数 49179

# 查看空值数量
behavior_log_df.count() - behavior_log_df.dropna().count()

0

# 获取每个用户的对每一类商品的每一种行为的频数，后面用于对每个行为类别进行线性加权，生成用户评分
# 透视表操作，透视表相当于两个分组 groupby_obj 分别作为行和列，生成一个表
cate_count_df = behavior_log_df.groupBy(behavior_log_df['user'], \
                                        behavior_log_df['cate']).\
                                        pivot('btag', ['pv', 'fav', 'cart', 'buy']).\
                                        count() # groupBy.count()对每一类行为统计频数
cate_count_df.show()

+-------+----+---+----+----+----+
|   user|cate| pv| fav|cart| buy|
+-------+----+---+----+----+----+
| 738396|9687| 12|null|   1|null|
| 590694|6432|  3|null|null|null|
|1056983|4283|  9|null|   1|null|
| 950232|5953|  1|null|null|null|
| 386718|9295|  5|null|null|null|
| 370007|6426|  1|null|null|null|
|  38456|6423|  1|null|null|null|
| 159877|4285|  1|null|null|null|
| 300675|5339|  2|   1|null|null|
|1113161|4290|  1|null|null|null|
| 898724|4520|  1|null|null|null|
| 569644|1665|  1|null|null|null|
|   8267|5945|  1|null|null|null|
| 267476|6009|  7|null|null|null|
| 873191|5942|  1|null|null|null|
| 609520|8964|  1|null|null|null|
| 767414|6409| 17|   1|null|null|
|  62553|6423|  1|null|null|null|
|1062120|9447|  1|null|null|null|
| 109275|6438|  1|null|null|null|
+-------+----+---+----+----+----+
only showing top 20 rows

​

根据用户对类目偏好打分训练ALS模型

# 遍历每一行，对行为进行线性加权，得到 用户-物品 评分
def process_row(row):
    # 判断某个属性是否有计数，不为空
    get_no_none = lambda cate: row[cate] if row[cate] else .0
    pv_count = get_no_none('pv')
    fav_count = get_no_none('fav')
    cart_count = get_no_none('cart')
    buy_count = get_no_none('buy')
    
    # 设置不同行为的权重
    pv_score = 0.2*pv_count if pv_count<=20 else 4.0
    fav_score = 0.4*fav_count if fav_count<=20 else 8.0
    cart_score = 0.6*cart_count if cart_count<=20 else 12.0
    buy_score = 1.0*buy_count if buy_count<=20 else 20.0
    
    score = pv_score + fav_score + cart_score + buy_score
    return row['user'], row['cate'], score


cate_score_df = cate_count_df.rdd.map(process_row).toDF(['user', 'cate', 'score'])

cate_score_df.show()

+-------+----+------------------+
|   user|cate|             score|
+-------+----+------------------+
| 738396|9687|3.0000000000000004|
| 590694|6432|0.6000000000000001|
|1056983|4283|               2.4|
| 950232|5953|               0.2|
| 386718|9295|               1.0|
| 370007|6426|               0.2|
|  38456|6423|               0.2|
| 159877|4285|               0.2|
| 300675|5339|               0.8|
|1113161|4290|               0.2|
| 898724|4520|               0.2|
| 569644|1665|               0.2|
|   8267|5945|               0.2|
| 267476|6009|1.4000000000000001|
| 873191|5942|               0.2|
| 609520|8964|               0.2|
| 767414|6409|3.8000000000000003|
|  62553|6423|               0.2|
|1062120|9447|               0.2|
| 109275|6438|               0.2|
+-------+----+------------------+
only showing top 20 rows

​

%%time
from pyspark.ml.recommendation import ALS

# 如果不用 spark 可以使用 implicit 库，也有 ALS 算法
# implicit 库 生成 用户-物品 评分表，也是对应的处理步骤
als = ALS(userCol='user', itemCol='cate', ratingCol='score', checkpointInterval=5)
model = als.fit(cate_score_df)

Wall time: 1min 53s

%%time
# 为每个用户推荐 Top-N 个物品
recommend_df = model.recommendForAllUsers(5)
recommend_df.show()

+-----+--------------------+
| user|     recommendations|
+-----+--------------------+
|  463|[[6455, 2.9882045...|
|  471|[[9558, 0.3299492...|
|  833|[[1720, 0.2581508...|
| 1238|[[12528, 0.681818...|
| 1829|[[5595, 4.1331573...|
| 2142|[[8558, 0.4138768...|
| 2659|[[9953, 0.2536223...|
| 4519|[[8652, 0.3156553...|
| 4935|[[8652, 0.6086501...|
| 6658|[[7777, 0.3495224...|
| 7340|[[5595, 1.4034023...|
| 7993|[[12063, 3.548402...|
|11317|[[8652, 0.9129751...|
|11458|[[9141, 1.4156919...|
|13840|[[8652, 1.8939321...|
|17420|[[11831, 0.272165...|
|18051|[[5595, 0.3890690...|
|18654|[[1802, 0.2476846...|
|18979|[[7777, 0.6990449...|
|19079|[[11831, 0.272165...|
+-----+--------------------+
only showing top 20 rows

Wall time: 54.5 s

recommend_df.select('recommendations').show(1)

+--------------------+
|     recommendations|
+--------------------+
|[[6455, 2.9882045...|
+--------------------+
only showing top 1 row

model.save('als_model.obj')

df = spark.read.csv(r"D:\阿里ctr预估数据集\raw_sample.csv", header=True)
df.show()
df.printSchema()

+------+----------+----------+-----------+------+---+
|  user|time_stamp|adgroup_id|        pid|nonclk|clk|
+------+----------+----------+-----------+------+---+
|581738|1494137644|         1|430548_1007|     1|  0|
|449818|1494638778|         3|430548_1007|     1|  0|
|914836|1494650879|         4|430548_1007|     1|  0|
|914836|1494651029|         5|430548_1007|     1|  0|
|399907|1494302958|         8|430548_1007|     1|  0|
|628137|1494524935|         9|430548_1007|     1|  0|
|298139|1494462593|         9|430539_1007|     1|  0|
|775475|1494561036|         9|430548_1007|     1|  0|
|555266|1494307136|        11|430539_1007|     1|  0|
|117840|1494036743|        11|430548_1007|     1|  0|
|739815|1494115387|        11|430539_1007|     1|  0|
|623911|1494625301|        11|430548_1007|     1|  0|
|623911|1494451608|        11|430548_1007|     1|  0|
|421590|1494034144|        11|430548_1007|     1|  0|
|976358|1494156949|        13|430548_1007|     1|  0|
|286630|1494218579|        13|430539_1007|     1|  0|
|286630|1494289247|        13|430539_1007|     1|  0|
|771431|1494153867|        13|430548_1007|     1|  0|
|707120|1494220810|        13|430548_1007|     1|  0|
|530454|1494293746|        13|430548_1007|     1|  0|
+------+----------+----------+-----------+------+---+
only showing top 20 rows

root
 |-- user: string (nullable = true)
 |-- time_stamp: string (nullable = true)
 |-- adgroup_id: string (nullable = true)
 |-- pid: string (nullable = true)
 |-- nonclk: string (nullable = true)
 |-- clk: string (nullable = true)
Last_xuan1
关注
专栏目录
spark mllib 协同过滤推荐算法（ALS) python 实现 完整实例程序
03-07
在本实例中，我们将探讨如何使用 PySpark（Python 接口）实现基于 MLlib 的协同过滤推荐算法——交替最小二乘法（Alternating Least Squares, ALS），用于用户和物品的推荐。 协同过滤是推荐系统中最常用的方法之一...
推荐系统（二）：根据用户行为数据创建ALS模型并召回商品、用户行为数据拆分、预处理behavior_log数据集、根据用户对类目偏好打分训练ALS模型、根据用户对品牌偏好打分训练ALS模型
汪雯琦的博客
03-15 2185
文章目录二 根据用户行为数据创建ALS模型并召回商品2.0 用户行为数据拆分2.1 预处理behavior_log数据集2.2 根据用户对类目偏好打分训练ALS模型2.3 根据用户对品牌偏好打分训练ALS模型 二 根据用户行为数据创建ALS模型并召回商品 2.0 用户行为数据拆分 方便练习可以对数据做拆分处理 pandas的数据分批读取 chunk 厚厚的一块 相当大的数量或部分 imp...
协同过滤pyspark.mllib.ALS算法代码（一个例子）
a8131357leo的博客
09-13 1994
原理在上一个帖子里https://blog.csdn.net/a8131357leo/article/details/100625257 训练模型 from pyspark.mllib.recommendation import ALS from pyspark.conf import SparkConf from pyspark.context import SparkContext...
根据用户行为数据创建ALS模型并召回商品
あずにゃん梓喵的博客
07-06 752
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 二 根据用户行为数据创建ALS模型并召回商品 2.0 用户行为数据拆分 方便练习可以对数据做拆分处理 pandas的数据分批读取 chunk 厚厚的一块 相当大的数量或部分 import pandas as pd reader = pd.read_csv('behavior_log.csv',chunksize=100,iterator=True.
协同过滤推荐ALS PySpark.mllib库
a8131357leo的博客
09-12 1117
啥是协同过滤？ 就是用户对所有产品打分，然后根据分数来给用户分组，那同一个组内的用户喜欢的东西应该是相似的。 其他的推荐算法例如内容推荐，就是先给产品分类（根据一些乱七八糟的），在将用户分类，然后把新来的产品（网页，东西）分类，在将这个产品推荐给感兴趣这个分类的用户。 协同过滤有啥优缺点 优点d 缺点 他不需要对产品（内容）进行分析，因为只要...
pyspark训练ALS模型注意事项
Toby的博客
08-15 416
而用于隐式反馈时，每个评分代表的是用户会和给定产品发送交互的置信度(比如随着用户访问一个网页次数的增加，评分也会提高)，预测出来的也是置信度。rank： 使用的特征向量的大小，更大的特征向量会产生更好的模型，但是也需要话费更大的计算代价，默认10。用于显式评分时，每个用户对于一个产品的评分需要是一个得分(例如1到5星)，而预测出来的评分也是得分。MLlib/ ml中包含交替最小二乘法(ALS)的一个实现，这是一个协同过滤的常用算法，可以很好的。产品的页面但是没有对产品评分)交互皆可。
基于Spark MLlib ALS的音乐推荐系统.zip
最新发布
09-01
基于Spark MLlib ALS的音乐推荐系统.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，内容都是经过专业老师审定过的，能够满足基本的学习、使用和参考...
推荐系统：Pyspark，ALS推荐系统
02-18
在Pyspark中，使用MLlib库可以方便地实现ALS。以下是一般步骤： 1. **数据预处理**：首先，我们需要收集和清洗数据，包括用户ID、物品ID和对应的评分。这些数据通常存储在CSV或其他格式的文件中。在Pyspark中，可以...
SparkMLlibALS推荐算法_Scala_下载.zip
04-23
《Spark MLlib ALS 推荐算法深度解析与实践》 Spark MLlib 是 Apache Spark 的机器学习库，其中的 ALS（ Alternating Least Squares）算法是实现协同过滤推荐系统的重要工具。在Scala编程环境下，我们可以充分利用...
ALS协同过滤推荐算法在pySpark MLlib机器学习库源码解析
qq_39954916的博客
05-09 704
Spark MLlib中实现ALS协同过滤推荐算法的库为recommendation.py，这可库有以下三个类 __all__ = ['MatrixFactorizationModel', 'ALS', 'Rating'] -a. Rating 算法的输入，包括用户对物品的评价，为三元组 class Rating(namedtuple("Rating", ["user", "product", "rating"])) user、producet整型数据，通常...
recommend-system:一个基于文本挖掘的明星代言推荐系统
03-11
推荐系统 一个基于文本挖掘的明星代言推荐系统 几个文件的注释百度百科中网友印象图片微博短文本的分词文件（jieba分词） 用户标签的json文件用户标签的文件推荐系统实现的ipynb文件用户标签的词向量单线程微博爬虫用户端计算成的400维词向量
协同过滤(ALS)算法原理及Spark MLlib调用实例(Scala/Java/Python)
热门推荐
liulingyuan6的博客
12-06 1万+
协同过滤 算法介绍：     协同过滤常被用于推荐系统。这类技术目标在于填充“用户－商品”联系矩阵中的缺失项。Spark.ml目前支持基于模型的协同过滤，其中用户和商品以少量的潜在因子来描述，用以预测缺失项。Spark.ml使用交替最小二乘（ALS）算法来学习这些潜在因子。 ＊注意基于DataFrame的ALS接口目前仅支持整数型的用户和商品编号。 显式与隐式反馈     基于矩阵分解的
PySpark学习笔记（4）——MLlib和ML介绍
FlySky1991的专栏
03-23 4672
Spark MLlib是Spark中专门用于处理机器学习任务的库，但在最新的Spark 2.0中，大部分机器学习相关的任务已经转移到Spark ML包中。两者的区别在于MLlib是基于RDD源数据的，而ML是基于DataFrame的更抽象的概念，可以创建包含从数据清洗到特征工程再到模型训练等一系列机器学习工作。所以，未来在用Spark处理机器学习任务时，将以Spark ML为主。Spark ML主...
利用Spark MLlib实现协同过滤(ALS)算法实例(Python)
科研糖
04-07 5239
协作过滤 协同过滤通常用于推荐系统。这些技术旨在填补用户项目关联矩阵的缺失条目。 spark.ml目前支持基于模型的协作过滤，其中用户和产品由一组可用于预测缺失条目的潜在因素来描述。 spark.ml使用交替最小二乘（ALS） 算法来学习这些潜在因素。实现中spark.ml有以下参数： numBlocks是为了并行化计算而将用户和项目划分到的块的数量（默认为10）。 rank是模型中潜在因素...
Databricks孟祥瑞：ALS 在 Spark MLlib 中的实现
铭霏的记事本
04-08 1891
深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布，MLlib 作为 Spark 负责机器学习 （ML） 的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法：研究主题分布的 latent Dirichlet allocation （LDA）、估计点集分布的高斯混合模型 （GMM）、提取频繁项集的 FP-growth、生成图聚类的 power iteration c
根据用户对品牌偏好打分训练ALS模型
qq_41810183的博客
01-16 300
基于Spark的ALS隐因子模型进行CF评分预测ALS的意思是交替最小二乘法（Alternating Least Squares），是Spark中进行基于模型的协同过滤（model-based CF）的推荐系统算法，也是目前Spark内唯一一个推荐算法。同SVD，它也是一种矩阵分解技术，但理论上，ALS在海量数据的处理上要优于SVD。注意：由于数据量巨大，因此这里不考虑基于内存的CF算法使用pyspark中的ALS矩阵分解方法实现CF评分预测。
pyspark运行ALS推荐算法
pyswt的博客
12-16 1669
首先创建读取路径，这个取决于你的pyspark是以什么方式启动的 global Path if sc.master[0:5] == 'local': Path='file:/home/swt/pythonwork/PythonProject/' else: Path="hdfs://ubuntu:9000/user/swt/" 我是本地启动 sc.master 'local[*]...
基于PySpark和ALS算法实现基本的电影推荐流程
pysense的博客
01-11 4956
2、读数据多个api 基本常用读取数据的api sc.pickleFile() # <class 'pyspark.rdd.RDD'> sc.textFile() # <class 'pyspark.rdd.RDD'> spark.read.json() # <class 'pyspark.sql.dataframe.DataFrame'> spark.read...
pyspark ALS 简单总结
大龄转行程序媛的博客
12-28 2681
Pyspark 常见数据清洗和补全指令： Dataframe   Df.select() 选取某列 Df.fillna(0) 用0补全所有na位 Df.filter(cond.)=Df.where(cond.) 按照cond.过滤df，相当于...
通过pyspark mllib可以实现推荐吗
05-24
此外，Pyspark MLlib还提供了其他推荐算法，如ALS（交替最小二乘法）和随机森林等。你可以使用这些算法来构建推荐系统，根据用户历史行为和其他因素预测用户可能感兴趣的物品，并向他们进行推荐。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值