Python Spark创建推荐引擎（2）学习笔记十二

最新推荐文章于 2022-10-21 09:21:24 发布

置顶

停止的闹钟

最新推荐文章于 2022-10-21 09:21:24 发布

阅读量326

点赞数 1

分类专栏： Python Spark Hadoop 机器学习大数据文章标签： Python Spark创建推荐引擎训练RatingRDD数据类型 ALS.train 使用模型进行推荐推荐电影

本文链接：https://blog.csdn.net/qq_45122866/article/details/99682521

版权

12.6如何训练数据

ALS训练数据格式是RatingRDD数据类型
在这里插入图片描述

在这里插入图片描述
以上程序判断
·如果sc.master[0:5]是“local”，代表当前本地运行，读取文本文件。
·sc.master[0:5]不是是“local”，就有可能是YARN client或者Spark Stand Alone,必须读取HDFS文件。

我们使用sc.textFile读取ml-100k数据集的u.data,并查看数据项数
在这里插入图片描述

在这里插入图片描述
以上4个字段分别是：用户id、项目id、评价、日期时间。

在这里插入图片描述

在这里插入图片描述

ALS训练数据格式是RatingRDD数据类型，Rating定义如下。
Rating(user,product,rating)
各字段说明：

字段	说明
User	用户
Product	产品</

关注