根据用户行为数据创建ALS模型并召回商品

最新推荐文章于 2024-08-28 15:30:22 发布
最新推荐文章于 2024-08-28 15:30:22 发布
阅读量127 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 python 开发语言 spark 推荐算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41810183/article/details/128692615
版权

二 根据用户行为数据创建ALS模型并召回商品

2.0 用户行为数据拆分

  • 方便练习可以对数据做拆分处理

    • pandas的数据分批读取 chunk 厚厚的一块 相当大的数量或部分
    import pandas as pd
reader = pd.read_csv('behavior_log.csv',chunksize=100,iterator=True)
count = 0;
for chunk in reader:
    count += 1
    if count ==1:
        chunk.to_csv('test4.csv',index = False)
    elif count>1 and count<1000:
        chunk.to_csv('test4.csv',index = False, mode = 'a',header = False)
    else:
        break
pd.read_csv('test4.csv')

2.1 预处理behavior_log数据集

  • 创建spark session
import os
# 配置spark driver和pyspark运行时，所使用的python解释器路径
PYSPARK_PYTHON = "/home/hadoop/miniconda3/envs/datapy365spark23/bin/python"
JAVA_HOME='/home/hadoop/app/jdk1.8.0_191'
# 当存在多个版本时，不指定很可能会导致出错
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON
os.environ['JAVA_HOME']=JAVA_HOME
# spark配置信息
from pyspark import SparkConf
from pyspark.sql import SparkSession

SPARK_APP_NAME = "preprocessingBehaviorLog"
SPARK_URL = "spark://192.168.199.188:7077"

conf = SparkConf()    # 创建spark config对象
config = (
	("spark.app.name", SPARK_APP_NAME),    # 设置启动的spark的app名称，没有提供，将随机产生一个名称
	("spark.executor.memory", "6g"),    # 设置该app启动时占用的内存用量，默认1g
	("spark.master", SPARK_URL),    # spark master的地址
    ("spark.executor.cores", "4"),    # 设置spark executor使用的CPU核心数
    # 以下三项配置，可以控制执行器数量
#     ("spark.dynamicAllocation.enabled", True),
#     ("spark.dynamicAllocation.initialExecutors", 1),    # 1个执行器
#     ("spark.shuffle.service.enabled", True)
# 	('spark.sql.pivotMaxValues', '99999'),  # 当需要pivot DF，且值很多时，需要修改，默认是10000
)
# 查看更详细配置及说明：https://spark.apache.org/docs/latest/configuration.html

conf.setAll(config)

# 利用config对象，创建spark session
spark = SparkSession.builder.config(conf=conf).getOrCreate()
  • 从hdfs中加载csv文件为DataFrame
# 从hdfs加载CSV文件为DataFrame
df = spark.read.csv("hdfs://localhost:9000/datasets/behavior_log.csv", header=True)
df.show()    # 查看dataframe，默认显示前20条
# 大致查看一下数据类型
df.printSchema()    # 打印当前dataframe的结构

显示结果:

+------+----------+----+-----+------+
|  user|time_stamp|btag| cate| brand|
+------+----------+----+-----+------+
|558157|1493741625|  pv| 6250| 91286|
|558157|1493741626|  pv| 6250| 91286|
|558157|1493741627|  pv| 6250| 91286|
|728690|1493776998|  pv|11800| 62353|
|332634|1493809895|  pv| 1101|365477|
|857237|1493816945|  pv| 1043|110616|
|619381|1493774638|  pv|  385|428950|
|467042|1493772641|  pv| 8237|301299|
|467042|1493772644|  pv| 8237|301299|
|991528|1493780710|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780712|  pv| 7270|274795|
|991528|1493780714|  pv| 7270|274795|
|991528|1493780765|  pv| 7270|274795|
|991528|1493780714|  pv| 7270|274795|
|991528|1493780765|  pv| 7270|274795|
|991528|1493780764|  pv| 7270|274795|
|991528|1493780633|  pv| 7270|274795|
|991528|1493780764|  pv| 7270|274795|
+------+----------+----+-----+------+
only showing top 20 rows

root
 |-- user: string (nullable = true)
 |-- time_stamp: string (nullable = true)
 |-- btag: string (nullable = true)
 |-- cate: string (nullable = true)
 |-- brand: string (nullable = true)
  • 从hdfs加载数据为dataframe，并设置结构
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, LongType
# 构建结构对象
schema = StructType([
    StructField("userId", IntegerType()),
    StructField("timestamp", LongType()),
    StructField("btag", StringType()),
    StructField("cateId", IntegerType()),
    StructField("brandId", IntegerType())
])
# 从hdfs加载数据为dataframe，并设置结构
behavior_log_df = spark.read.csv("hdfs://localhost:8020/datasets/behavior_log.csv", header=True, schema=schema)
behavior_log_df.show()
behavior_log_df.count()

显示结果:

+------+----------+----+------+-------+
|userId| timestamp|btag|cateId|brandId|
+------+----------+----+------+-------+
|558157|1493741625|  pv|  6250|  91286|
|558157|1493741626|  pv|  6250|  91286|
|558157|1493741627|  pv|  6250|  91286|
|728690|1493776998|  pv| 11800|  62353|
|332634|1493809895|  pv|  1101| 365477|
|857237|1493816945|  pv|  1043| 110616|
|619381|1493774638|  pv|   385| 428950|
|467042|1493772641|  pv|  8237| 301299|
|467042|1493772644|  pv|  8237| 301299|
|991528|1493780710|  pv|  7270| 274795|
|991528|1493780712|  pv|  7270| 274795|
|991528|1493780712|  pv|  7270| 274795|
|991528|1493780712|  pv|  7270| 274795|
|991528|1493780714|  pv|  7270| 274795|
|991528|1493780765|  pv|  7270| 274795|
|991528|1493780714|  pv|  7270| 274795|
|991528|1493780765|  pv|  7270| 274795|
|991528|1493780764|  pv|  7270| 274795|
|991528|1493780633|  pv|  7270| 274795|
|991528|1493780764|  pv|  7270| 274795|
+------+----------+----+------+-------+
only showing top 20 rows

root
 |-- userId: integer (nullable = true)
 |-- timestamp: long (nullable = true)
 |-- btag: string (nullable = true)
 |-- cateId: integer (nullable = true)
 |-- brandId: integer (nullable = true)
  • 分析数据集字段的类型和格式
    • 查看是否有空值
    • 查看每列数据的类型
    • 查看每列数据的类别情况
print("查看userId的数据情况：", behavior_log_df.groupBy("userId").count().count())
# 约113w用户
#注意：behavior_log_df.groupBy("userId").count()  返回的是一个dataframe，这里的count计算的是每一个分组的个数，但当前还没有进行计算
# 当调用df.count()时才开始进行计算，这里的count计算的是dataframe的条目数，也就是共有多少个分组

查看user的数据情况： 1136340

print("查看btag的数据情况：", behavior_log_df.groupBy("btag").count().collect())    # collect会把计算结果全部加载到内存，谨慎使用
# 只有四种类型数据：pv、fav、cart、buy
# 这里由于类型只有四个，所以直接使用collect，把数据全部加载出来

查看btag的数据情况： [Row(btag='buy', count=9115919), Row(btag='fav', count=9301837), Row(btag='cart', count=15946033), Row(btag='pv', count=688904345)]

print("查看cateId的数据情况：", behavior_log_df.groupBy("cateId").count().count())
# 约12968类别id

查看cateId的数据情况： 12968

print("查看brandId的数据情况：", behavior_log_df.groupBy("brandId").count().count())
# 约460561品牌id

查看brandId的数据情况： 460561

print("判断数据是否有空值：", behavior_log_df.count(), behavior_log_df.dropna().count())
# 约7亿条目723268134 723268134
# 本数据集无空值条目，可放心处理

判断数据是否有空值： 723268134 723268134
  • pivot透视操作，把某列里的字段值转换成行并进行聚合运算(pyspark.sql.GroupedData.pivot)
    • 如果透视的字段中的不同属性值超过10000个，则需要设置spark.sql.pivotMaxValues，否则计算过程中会出现错误。文档介绍。
# 统计每个用户对各类商品的pv、fav、cart、buy数量
cate_count_df = behavior_log_df.groupBy(behavior_log_df.userId, behavior_log_df.cateId).pivot("btag",["pv","fav","cart","buy"]).count()
cate_count_df.printSchema()    # 此时还没有开始计算

显示效果:

root
 |-- userId: integer (nullable = true)
 |-- cateId: integer (nullable = true)
 |-- pv: long (nullable = true)
 |-- fav: long (nullable = true)
 |-- cart: long (nullable = true)
 |-- buy: long (nullable = true)
  • 统计每个用户对各个品牌的pv、fav、cart、buy数量并保存结果
# 统计每个用户对各个品牌的pv、fav、cart、buy数量
brand_count_df = behavior_log_df.groupBy(behavior_log_df.userId, behavior_log_df.brandId).pivot("btag",["pv","fav","cart","buy"]).count()
# brand_count_df.show()    # 同上
# 113w * 46w
# 由于运算时间比较长，所以这里先将结果存储起来，供后续其他操作使用
# 写入数据时才开始计算
cate_count_df.write.csv("hdfs://localhost:9000/preprocessing_dataset/cate_count.csv", header=True)
brand_count_df.write.csv("hdfs://localhost:9000/preprocessing_dataset/brand_count.csv", header=True)
lucky-zhao
关注
专栏目录
Python机器学习实战：构建并优化推荐系统的协同过滤模型
AI天才研究院
06-24 447
这篇文章将深入探讨如何使用Python实现和优化推荐系统中的协同过滤模型。在当今信息爆炸的时代,推荐系统已经成为帮助用户从海量数据中快速找到感兴趣内容的关键技术。无论是电子商务、社交媒体、还是流媒体平台,推荐系统都在其中扮演着至关重要的角色。其中,协同过滤(Collaborative Filtering, CF)作为一种经典且有效的推荐算法,因其简单、有效且易于实现的特点,一直是推荐系统研究和应用的热点。协同过滤的核心思想是利用用户的历史行为数据,发现用户之间或物品之间的相似性,从而为用户推荐可能感兴趣的内
大数据和智能数据应用架构系列教程之：大数据与电商个性化推荐
AI天才研究院
11-08 130
随着互联网、移动互联网和物联网等新兴的网络技术的发展，以及人们对电子商务平台的接受程度越来越高，基于大数据的电商个性化推荐系统也逐渐成为电子商务领域的热门话题。虽然电商的用户行为在不断地变化，但电商平台一直在努力提升其个性化推荐效果，让每个用户都能受到独特的商品推送。但传统的个性化推荐系统一般采用基于规则的计算方式，无法利用复杂的上下文信息及用户反馈信息进行精准的个性化推荐。因此，基于大数据的个性化推荐系统应运而生，能够对用户的行为及特征进行分析并通过机器学习技术实现个性化推荐。
ALS召回、LR、GBDT排序的实战，A/B Test
耗子窝
03-16 681
在生成ALS和LR模型以后，接下来就可以用在代码中了。 首先ALS，其实在数据已经存在数据库中了，只要从中取出来，去掉个逗号之类的就好 @Service public class RecommendService { @Autowired private RecommendDOMapper recommendDOMapper; //找回数据，根据userid召回sho...
推荐召回中ALS(交替最小二乘法)算法验证
zhangdonghuirjdd的博客
08-26 844
bm25_weight函数期望输入是一个物品-用户评分矩阵，即转置后的user_item_matrix.T。在推荐系统中，它可以提高推荐的质量。这里两次使用转置操作的原因在于bm25_weight函数的输入期望是物品-用户评分矩阵，而不是用户-物品评分矩阵。ALS是一种广泛应用于协同过滤推荐系统的方法，主要用于解决用户-物品评分矩阵中的缺失值问题，从而生成用户对未评分物品的预测评分或推荐。Format）的稀疏矩阵。原始的user_item_matrix是一个用户-物品评分矩阵，其中行代表用户，列代表物品。
ALS召回算法
yuechuzhixing的博客
04-24 273
import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.function.Function; import org.apache.spark.ml.evaluation.RegressionEvaluator; import org.apache.spark.ml.recommendation.ALS; import org.apache.spark.ml.recommendation.ALSModel; impo
二、 根据用户行为数据创建ALS模型并召回商品
Wzideng@qq.com
08-10 308
ALS的意思是交替最小二乘法（Alternating Least Squares），是Spark中进行基于模型的协同过滤（model-based CF）的推荐系统算法，也是目前Spark内唯一一个推荐算法。ALS的意思是交替最小二乘法（Alternating Least Squares），是Spark2.*中加入的进行基于模型的协同过滤（model-based CF）的推荐系统算法。同SVD，它也是一种矩阵分解技术，但理论上，ALS在海量数据的处理上要优于SVD。方便练习可以对数据做拆分处理。
二 根据用户行为数据创建ALS模型并召回商品
Wzideng@qq.com
08-13 250
ALS的意思是交替最小二乘法（Alternating Least Squares），是Spark中进行基于模型的协同过滤（model-based CF）的推荐系统算法，也是目前Spark内唯一一个推荐算法。ALS的意思是交替最小二乘法（Alternating Least Squares），是Spark2.*中加入的进行基于模型的协同过滤（model-based CF）的推荐系统算法。同SVD，它也是一种矩阵分解技术，但理论上，ALS在海量数据的处理上要优于SVD。方便练习可以对数据做拆分处理。
推荐系统（二）：根据用户行为数据创建ALS模型并召回商品、用户行为数据拆分、预处理behavior_log数据集、根据用户对类目偏好打分训练ALS模型、根据用户对品牌偏好打分训练ALS模型
汪雯琦的博客
03-15 2197
文章目录二 根据用户行为数据创建ALS模型并召回商品2.0 用户行为数据拆分2.1 预处理behavior_log数据集2.2 根据用户对类目偏好打分训练ALS模型2.3 根据用户对品牌偏好打分训练ALS模型 二 根据用户行为数据创建ALS模型并召回商品 2.0 用户行为数据拆分 方便练习可以对数据做拆分处理 pandas的数据分批读取 chunk 厚厚的一块 相当大的数量或部分 imp...
我们在SparkML上使用深度学习模型来创建一个混合推荐系统，该系统利用内容和协作数据_Jupyter_下载.zip
04-23
在预处理数据阶段，我们需要将这些数据转化为适合深度学习模型的格式，例如将用户行为序列转化为时间序列数据，以便RNN可以处理。 在Jupyter环境中，我们首先加载数据，然后将其分为训练和测试集。接着，我们可以...
模拟用户与推荐系统互动：选择模型对用户影响的研究
CEURWorkshopProceedings0学习选择模型以模拟用户与推荐系统的互动�0Naieme Hazrati�，FrancescoRicci0意大利博尔扎诺自由大学0摘要为了更好地了解推荐系统（RSs）对用户选择的长期影响，一些最近的研究模拟了...
推荐系统笔记-04-用户基于ALS模型召回集
PURSUE ONE PIECE
12-30 502
1、相关环境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相关表结构 HBase create 'multiple_recall', {NAME=>'als', TTL=>2592000, VERSIONS=>9999} create 'history_recall', {NAME=>'chann...
推荐系统u2i召回之als召回
dreamfantacy的博客
09-16 2850
基本思路 als(alternative least square)，即交替最小二乘法，是用于计算损失函数最小化的一种方法，当然更为熟知的还有随机梯度下降法。 再正式介绍als之前，需要先引入矩阵分解的思想。 假定已有user对item的评分矩阵RRR，希望通过矩阵分解来预测user对其它item的评分，可以通过构造两个矩阵PPP和QQQ，使得， R~=PQT \tilde{R} = PQ^T R...
基于用户的协同过滤以及ALS的混合召回算法
最新发布
zhangdonghuirjdd的博客
08-28 2356
基于用户的协同过滤是一种经典的推荐算法，它通过寻找具有相似兴趣的用户来推荐物品，它关注的是用户之间的相似性而非物品之间的相似性。然而，在大规模数据集上，这种方法可能会因为计算用户相似度矩阵所需的大量计算资源而变得不太实用。基于用户之间的相似度来进行推荐。在基于用户的协同过滤中，系统寻找与目标用户兴趣相似的其他用户，然后推荐这些相似用户喜欢的物品给目标用户。ALS 的优点（如处理稀疏数据的能力）来改进基于用户的协同过滤。因为不同用户直接的评分范围差异比较大 使用余弦相似度来计算。
ALS 个性化召回算法原理
乌鲁木齐001号程序员
06-15 547
概述 是最小二乘法； 利用矩阵分解的结果，无限逼近现有数据，得到隐含特征； 利用隐含特征，预测其余结果； ALS 算法 | 举个栗子 product1 product2 product3 user1 3.0 user2 1.0 3.0 user3 3.0 user4 1.0 在线采集系统会记录用户的所有行为； user2 浏览过...
机器学习-准确率、召回率、精确率、f1score等
感性企鹅的专栏
12-09 992
背景 机器学习中，如何评估一个模型的好坏极关重要，否则训练出来了我们自己都说不明白到底该不该用，一句话就是心里没底。 本文将用较为白话的角度来阐述这些指标。 注：这些指标（准确率、精确率、召回率）用中文表示容易混淆，例如准确率和精确率，本文将用英文来进行表述 指标介绍 在介绍之前，我们先上一个二分类的例子 假定已经根据训练集训练出了一个模型，这个模型等待进行评估。 现在给定测试集，正样本60个，...
推荐系统中的召回阶段
yichudu
01-05 6897
用户与用户(商品)的关系可以用图 G=(V,E)G=(V,E)G=(V, E) 表示, 推荐系统的任务其实就是预测图中尚未存在的边, 叫link prediction。 1.协同过滤 具有相似消费行为的人，可以相互推荐。比如用户a、b同时购买了手机，a又购买了手机壳，那么b也是手机壳的潜在买家。 往往需要一个物品评分矩阵R，元素ri,jri,jr_{i,j}表示用户i对物品j的评分。一般...
召回-ALS（Alternating least Squares）-交替最小二乘
weixin_42252147的博客
04-07 524
项目背景：使用星球联盟的每日必做 #准备数据 分类情况： 情况 标签 仅曝光未点击未完成 0 仅一次点击未完成 1 仅多次点击未完成 2 仅一次完成 3 多次完成 4 1.数据来源： 表mlg.xqlm_app_child_task，任务曝光数据 表mlg.xqlm_app_taskfinish_details任...
ALS算法讲解
热门推荐
大数据训练营
06-22 3万+
Kendall秩相关系数（Kendall rank correlation coefficient） 对于秩变量对(xi,yi),(xj,yj)： (xi−xj)(yi−yj)⎧⎩⎨⎪⎪>0,=0,0,concordantneither concordant nor discordantdiscordant τ=(number of concord
用spark对菜品和评分数据预处理后的数据用als模型评价后对某用户推荐10道新菜品的代码
06-13
好的，这是一个具体的例子，我会尽可能详细地解释，希望对你有帮助。 首先，我们需要导入必要的库： ```python from pyspark.ml.recommendation import ALS from pyspark.ml.evaluation import RegressionEvaluator ``` 然后，我们需要读入菜品数据和评分数据： ```python menu_df = spark.read.csv("menu.csv", header=True, inferSchema=True) rating_df = spark.read.csv("rating.csv", header=True, inferSchema=True) ``` 接下来，我们需要将菜品数据和评分数据进行合并： ```python menu_rating_df = menu_df.join(rating_df, ["menu_id"]) ``` 然后，我们需要将用户 ID 和菜品 ID 转换为整数类型： ```python menu_rating_df = menu_rating_df.select(menu_rating_df["user_id"].cast("integer"), menu_rating_df["menu_id"].cast("integer"), menu_rating_df["rating"]) ``` 接着，我们需要使用 ALS 模型进行训练，设置参数并训练模型： ```python als = ALS(maxIter=5, regParam=0.01, userCol="user_id", itemCol="menu_id", ratingCol="rating") model = als.fit(menu_rating_df) ``` 然后，我们需要选择一个用户进行推荐，这里我们选择用户 ID 为 1： ```python user_id = 1 user_df = menu_df.select("menu_id").distinct().withColumn("user_id", lit(user_id)) recommendations = model.transform(user_df).orderBy("prediction", ascending=False).limit(10) ``` 最后，我们需要将推荐结果转换为 Pandas DataFrame，以便展示： ```python recommendations_pandas_df = recommendations.toPandas() ``` 我们可以使用 Pandas 库来输出推荐结果： ```python for i in range(10): print("Recommendation {} : {}".format(i+1, recommendations_pandas_df["menu_id"][i])) ``` 这样，我们就完成了对菜品和评分数据预处理后，使用 ALS 模型评价后对某用户推荐10道新菜品的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lucky-zhao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值