计算机毕业设计之基于spark的短视频推荐系统的设计与实现

bishe911是微信

于 2024-06-25 13:53:21 发布

阅读量417

点赞数 6

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/2401_82569969/article/details/139956997

版权

随着互联网的快速发展，抖音短视频作为一款受欢迎的视频社交平台，拥有大量的短视频和用户评论等信息。为了更好地了解和推荐适合的短视频主题，开发了基于spark的短视频推荐系统。该系统利用python语言、mysql数据库以及hadoop、spark等大数据技术，对海量短视频数据进行处理和分析，通过与推荐模型进行对比，能识别出该主题一段时间内的点赞数、评论数等信息，并生成对图表数据。

系统是一个可视化显示web界面，首先通过爬虫技术获取到对应的短视频、转发数和评论等数据，考虑数据量较大，系统首先通过pandas进行文本的保存和读取，进而通过hadoop分布式保存到mysql数据库管理系统中，使用spark进行分布式计算，最后通过Django框架结合vue框架进行界面展示。本研究的意义在于，通过对抖音短视频平台上的短视频用户评论信息、点赞信息等进行分析，为视频推荐提供了更加准确和个性化的支持。此外，本研究也为其他短视频平台或者社交媒体平台的推荐系统的设计提供了有益的参考和借鉴。

根据以上的功能需求情况，整体的功能模块包括有前台vue项目模块，后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面，数据可视化展示页面，爬虫模块主要用来爬取抖音短视频的数据信息的，通过使用hadoop进行数据的存储，django后台用来提供前台所用的json数据以及预测抖音热点主题。