基于Spark协同过滤算法的推荐系统的设计与实现

已于 2024-01-08 09:39:21 修改
阅读量2.6k 收藏 31
点赞数 19
分类专栏： python 文章标签： django spark-ml spark 大数据
于 2023-12-26 23:17:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41631913/article/details/135233339
版权

文章目录

基于Spark协同过滤算法的推荐系统的设计与实现[已开源]

一、架构

1.1 总架构

在这里插入图片描述

1.2、数仓架构

在这里插入图片描述

4.3 功能设计

在这里插入图片描述

4.4 ER图

在这里插入图片描述

4.5 系统流程图

在这里插入图片描述

三、推荐系统展示

https://www.fiang.fun

3.1用户界面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2管理员后台界面

在这里插入图片描述
在这里插入图片描述
四、项目部署

4.1 docker-compose部署(暂时不能用，有懂的可以帮忙完善)

# docker build
cd 项目目录/
docker build -f ./docker_env/django/DockerfileBuild -t django_docker_img:v1 .
# 镜像保存
docker save -o django_docker_img.tar django_docker_img:v1

# docker build
# 进项目目录
cd project/
docker build -f ./docker_env/web/DockerfileBuild -t vue_web_img:v1 .
# 镜像保存
docker save -o vue_web_img.tar vue_web_img:v1
# 加载离线镜像
docker load -i django_docker_img.tar
docker load -i vue_web_img.tar
 
 
# docker-compose 创建并启动相应服务
cd 项目目录/
docker-compose up -d

4.2 环境初始化

4.2.1 快捷脚本(Windows)
  • 下载Anaconda
  • 运行env-init.bat
  • 注意控制台信息，需要输入两个y
4.2.2 正常流程

  • 下载Anaconda

  • 创建虚拟环境

    • 爬虫环境
    conda create -n jobfreeSpider python=3.8

pip install -r .\spiderProject\requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
    • Web环境
    conda create -n jobfree python=3.8

pip install -r .\web-server\requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

  • 下载MySQL和Redis数据库

4.3 项目启动

4.3.1 爬虫程序
windows一键启动

双击spder-start.bat

正常启动

  • 切换至 jobfreeSpider环境

    conda activate jobfreeSpider

  • 启动scrapyd进程

    scrapyd
# 控制台输入
# windows输入 scrapyd 后收后台挂起，新建cmd执行后续
# Linux输入nohup scrapyd > scrapyd.log & + ctrl+D挂起

  • 启动Gerapy

    gerapy runserver 0.0.0.0:5000
# 控制台输入
# windows输入 gerapy runserver 0.0.0.0:5000 后收后台挂起
# Linux输入nohup gerapy runserver 0.0.0.0:5000 > gerapy.log & + ctrl+D挂起

  • 浏览器打开http://127.0.0.1进入Gerapy，用户名密码admin/admin

  • 点击项目管理-编辑

    在这里插入图片描述

  • 找到settings.py,修改redis和mysql为自己的配置，不用建表，自动建

    在这里插入图片描述

  • 修改完不用保存（自动保存），点击项目管理-部署

    在这里插入图片描述

  • 点击重新打包后，再点击部署即可（如果报错99%是你的数据库配置有问题，因为部署时会执行检查代码，连接不上就报错）

    在这里插入图片描述

  • 如果部署失败，查看scrapyd进程/日志

5.3.2 Web程序
配置settings.py
# web-server\DRF\settings.py
# SMTP邮箱设置,怎么申请请自行网上学习
EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'
EMAIL_HOST = ''  # 邮箱SMTP服务器地址
EMAIL_HOST_USER = ''  # 邮箱用户名
EMAIL_HOST_PASSWORD = ''  # 邮箱密码
# EMAIL_USE_TLS = True  # 使用TLS加密
DEFAULT_FROM_EMAIL = ''  # 默认发件人邮箱
#redis
REDIS_HOST='127.0.0.1'
REDIS_PORT=6379
REDIS_PSW=''
REDIS_DB=1
#MySQL
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'jobfree',  
        'USER': 'root',  
        'PASSWORD': 'root',  
        'HOST': '127.0.0.1',
        'PORT': 3306,
        'OPTIONS': {'charset': 'utf8mb4'},
    },

}
迁移数据库
conda activate jobfree
cd web-server
python manage.py migrate
导入测试数据

ETL\test_data.sql，然后完成ETL模块再进行下一步运行

windows一键启动

双击web-start.bat

正常启动
cd web-server
conda activate jobfree
python manage.py runserver
5.3.3 ETL模块
环境搭建

有集群则跳过

Windows下使用hadoop+hive+sparkSQL-CSDN博客

初始化hive数据库

ETL\init.sql

安装python库
pip install findspark
执行ETL脚本

ETL\xxx目录下的py文件

模型训练

model\ALS.py

开源地址

https://github.com/854771076/Employment_referral

基于hadoop的协同过滤算法电影推荐系统的设计与实现
AI天才研究院
04-20 1453
在当今信息时代,互联网上的数据量呈爆炸式增长,用户面临着信息过载的困扰。电影作为一种重要的娱乐媒体,其数量也在不断增加,给用户带来了选择的困难。因此,一个高效、智能的电影推荐系统就显得尤为重要。我们将使用MovieLens 100K数据集,它包含了100,000条电影评分记录,由943位匿名用户对1682部电影的评分数据组成。协同过滤算法作为推荐系统的核心技术，已经在许多领域得到了广泛应用。随着数据量的不断增加和计算能力的提升，协同过滤算法将在更多领域得到应用和发展。
基于Spark的电影推荐系统
乐之务在于心和,和心在于行之适
12-03 1658
运用Spark MLlib，MovieLens数据集和ALS算法，设计并实现一个电影推荐系统
毕业设计：基于协同过滤算法的动漫电影个性化推荐系统
最新发布
Hai_Lang_IT的博客
03-14 1137
基于协同过滤算法的动漫电影个性化推荐系统。通过分析用户的观看历史、评分和偏好，系统能够生成个性化的推荐列表。我们结合深度学习技术，优化了协同过滤算法，使得推荐结果更加准确与高效。同时，系统通过用户反馈不断更新和调整推荐模型，提升了用户体验和满意度。对于计算机专业、人工智能专业、大数据专业、信息安全专业、软件工程专业的毕业生而言，不论是对于深度学习技术感兴趣的同学，还是希望探索机器学习、算法或人工智能的领域的同学，都能为您提供丰富的选题资源和灵感。
Java项目开发：基于spark的新闻推荐系统的设计与实现
QQ1694456187的博客
09-13 1640
随着我国媒体和网络技术的快速发展，新闻发布也不断优化我国媒体界，随着个外交商务所占比重越来越大，有助于我国社会经济的可持续性发展，文章主要讲述了新闻行业的发展分析，因为媒体的宣传能够带给我们重要的信息资源，新闻发布和评论管理是国家管理机制重要的一环，,面对这一世界性的新动向和新问题，新闻发布如何适应新的时代和新的潮流，开展有效的信息服务工作,完成时代赋予的新使命?本文就这一问题谈谈几点粗浅的看法.扩大业务范围,更新服务内容.信息社会的到来已经向新闻推荐系统的服务方式提出了新的挑战。
基于Spark的短视频推荐系统的设计与实现（爬虫 + 可视化大屏）
我们不是普通的猪，我们是一群热爱编程、追求创新的“猪仔”。在这里，我们用键盘敲出梦想，用代码编织未来。
10-21 855
💛博主介绍：大家好，我是码趣猪仔，一名拥有4年码龄的全栈程序员，也是一位计算机老学长。在这个数字时代，我致力于成为大学生毕业程序和实践项目的灯塔，提供开发、指导和咨询服务。同时，我也为高校教师、讲师以及行业同仁提供合作机会，共同推动计算机教育的发展🎉，我的目标是让技术学习变得更高效、更有趣。欢迎关注👋，一起在计算机科学的海洋中乘风破浪⛵️，共创辉煌🏆。👇🏻精选专栏，推荐订阅👇🏻计算机毕业设计最强指南✅计算机毕业设计答辩秘籍✅计算机最全毕设项目推荐✅✨文末附上源码✨。
Spark推荐系统实践
大数据学习与分享的博客
01-12 2870
推荐系统是根据用户的行为、兴趣等特征，将用户感兴趣的信息、产品等推荐给用户的系统，它的出现主要是为了解决信息过载和用户无明确需求的问题，根据划分标准的不同，又分很多种类别： 根据目标用户的不同，可划分为基于大众行为的推荐引擎和个性化推荐引擎 根据数据之间的相关性，可划分为基于人口统计学的推荐和基于内容的推荐 … 通常，我们在讨论推荐系统时主要是针对个性化推荐系统，因为它才是更加智能的信息发现过程。在个性化推荐系统中，协同过滤算法是目前应用最成功也是最普遍的算法，主要包括两大类，基于用户的协同过滤
Spark推荐系统
iMark
11-28 257
上个项目太难了 这次搞个简单的 项目架构 主要数据模型
基于python与协同过滤算法的图书推荐系统设计与实现
05-31
《基于Python与协同过滤算法的图书推荐系统设计与实现》 在当今信息爆炸的时代，个性化推荐系统已经成为各类在线服务不可或缺的一部分，特别是在图书推荐领域。本项目聚焦于利用Python编程语言和协同过滤算法来构建...
基于Spark实现的协同过滤推荐算法的电影推荐系统源代码（毕业设计&期末大作业）
09-15
基于Spark实现的协同过滤推荐算法的电影推荐系统源代码（毕业设计&期末大作业），含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为毕设、...
基于改进协同过滤算法的分布式推荐系统设计与实现.docx
11-02
《基于改进协同过滤算法的分布式推荐系统设计与实现》这篇毕业论文主要探讨了协同过滤算法在推荐系统中的应用，特别是如何通过改进协同过滤算法来优化分布式推荐系统的性能。以下是论文中涉及的关键知识点： 1. **...
基于Spark实现的协同过滤推荐算法的电影推荐系统代码（高分项目）
08-17
基于Spark实现的协同过滤推荐算法的电影推荐系统代码（高分项目）基于Spark实现的协同过滤推荐算法的电影推荐系统代码（高分项目）基于Spark实现的协同过滤推荐算法的电影推荐系统代码（高分项目）基于Spark实现的...
基于spark的电影推荐系统数据集
05-27
基于spark的电影推荐系统数据集
Spark应用案例：推荐系统
AI天才研究院
01-18 1287
1.背景介绍 推荐系统是现代互联网公司的核心业务之一，它通过对用户的行为、兴趣和喜好进行分析，为用户推荐相关的商品、服务或内容。随着数据规模的增加，传统的推荐系统已经无法满足业务需求，因此需要采用大数据技术来处理和分析这些数据。 Apache Spark是一个开源的大数据处理框架，它可以处理大规模的数据集，并提供了一系列的数据处理和分析功能。Spark的MLlib库提供了一些常用的推荐系统算法...
Spark机器学习- 推荐系统ALS
qq_42722387的博客
06-15 703
Spark-推荐系统ALS
spark推荐系统和协同过滤
互联网知识分享
08-17 630
而协同过滤算法则是基于用户的行为数据，通过分析用户与物品的历史关系，找出具有相似行为特征的用户或物品，从而进行推荐。推荐系统是一种信息过滤系统，通过分析用户的行为、偏好和个人信息，将最相关、最有用的信息或商品推荐给用户，以提高用户的满意度和体验。基于用户的协同过滤算法是根据用户的历史行为数据，找出具有相似行为特征的用户，将这些用户喜欢的物品推荐给目标用户。基于物品的协同过滤算法是根据用户的历史行为数据，找出用户之间喜欢的相似物品，将这些相似物品推荐给目标用户。）根据这些物品的相似物品，计算推荐物品的得分。
毕业设计——基于spark的电影推荐系统，包括基于ALS、LFM的离线推荐、实时推荐
abackcab的博客
01-20 1182
项目以推荐系统建设领域知名的经过修改过的MovieLens数据集作为依托，以电影网站真实业务数据架构为基础，包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。【离线推荐部分】离线统计服务：批处理统计性业务采用Spark Core +Spark SQL进行实现，实现对指标类数据的统计任务。部署在Tomcat上。【数据存储部分】业务数据库：项目采用广泛应用的文档数据库MongDB作为主数据库，主要负责平台业务逻辑数据的存储。
javaspark推荐算法
11-12
JavaSpark推荐算法是一种基于Spark平台的推荐算法，它可以用于处理大规模数据集。下面是一个简单的JavaSpark推荐算法的例子： ```java // 导入必要的类 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.mllib.recommendation.ALS; import org.apache.spark.mllib.recommendation.MatrixFactorizationModel; import org.apache.spark.mllib.recommendation.Rating; public class JavaRecommendationExample { public static void main(String[] args) { // 创建SparkConf对象 SparkConf conf = new SparkConf().setAppName("JavaRecommendationExample").setMaster("local"); // 创建JavaSparkContext对象 JavaSparkContext jsc = new JavaSparkContext(conf); // 加载数据 String path = "data/mllib/als/test.data"; JavaRDD<String> data = jsc.textFile(path); // 将数据转换为Rating对象 JavaRDD<Rating> ratings = data.map(s -> { String[] sarray = s.split(","); return new Rating(Integer.parseInt(sarray[0]), Integer.parseInt(sarray[1]), Double.parseDouble(sarray[2])); }); // 使用ALS算法训练模型 int rank = 10; int numIterations = 10; MatrixFactorizationModel model = ALS.train(JavaRDD.toRDD(ratings), rank, numIterations, 0.01); // 为用户推荐电影 JavaRDD<Rating> userRecs = model.recommendProducts(1, 5); // 输出推荐结果 for (Rating r : userRecs.collect()) { System.out.println(r.product() + " rating " + r.rating()); } // 关闭JavaSparkContext对象 jsc.stop(); } } ``` 该例子使用ALS算法训练模型，并为用户1推荐5部电影。你可以根据自己的需求修改rank和numIterations参数来优化模型的性能。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

awsless

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值