windows下pycharm搭建spark环境，练习SparkMllib（附代码并成功运行）

最新推荐文章于 2024-11-25 15:46:12 发布

weixin_74

最新推荐文章于 2024-11-25 15:46:12 发布

阅读量579

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weixin_44727274/article/details/116935352

版权

本文通过在Windows环境下使用PyCharm搭建Spark环境，介绍了如何利用Spark MLlib库实现电影推荐系统的全过程。从读取用户、评分及电影信息等数据开始，经过数据预处理，到使用ALS算法训练推荐模型，并最终展示推荐结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总体的架构与sparkSQL类似，架构可参考
windows下pycharm搭建spark环境，练习SparkSQL（附代码并成功运行）

本文章与sparkSQL类似的架构读取三个文件数据，并导入包pyspark.mllib.recommendation import ALS
创建并训练出模型，显示推荐的电影名称
然后保存模型，并且再次调用

# 主  题：Spark Mlib
import os
import sys
import findspark  # 一定要在最前面导入

# 初始化spark环境
findspark.init()
# Path for spark source folder
os.environ['SPARK_HOME'] = "G:\Spark\Install\spark-2.4.3-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("G:\Spark\Install\spark-2.4.3-bin-hadoop2.7\python")

from pyspark.sql import SparkSession
from pyspark import Row

# 读取用户数据
spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
user_df = spark.read.text('G:\\Spark\\SparkMLLib\\data\\u.user')
# print(user_df.show(10))

# 为用户数据添加 schema
user_rdd = user_df.rdd.map(lambda x: x[0].split('|')).map(
    lambda x: Row(id=x[0], age=x[1], sex=x[2]

最低0.47元/天解锁文章