基于Spark的抖音用户行为数据分析系统(需求文档)

开题报告

专业名称	数据科学与大数据技术	学生姓名
指导教师		学    号
课题名称	基于Spark的抖音用户行为数据分析系统		开题日期	2023.11.30
课题研究背景意义及现状 课题研究背景和意义 随着智能手机的普及和移动互联网的发展，短视频应用如抖音等逐渐成为人们日常生活中不可或缺的一部分。抖音作为一个短视频分享平台。拥有庞大的用户群体和广泛的影响力。用户在抖音上的行为数据不仅反映了用户的兴趣和偏好，还反映了社会文化和价值观的变化。因此，对抖音用户行为数据进行深入研究具有重要的现实意义和理论价值。 2.课题研究现状 目前，国内外学者已经对短视频应用用户行为数据进行了大量研究。研究主要集中在用户行为特征、兴趣爱好、社交网络、信息传播等方面。这些研究为进一步理解抖音用户行为提供有益的参考。然而，现有的研究还存在一些不足之处，如数据来源的可靠性、研究方法的科学性、结论的可信度等方面需要进一步提高。
课题需要研究或解决的问题及拟采用的方法： 具体研究内容如下: 1.收集资料：根据课题的所研究的内容，通过知网查阅国内外相关文献资料与研究课题的成果，了解课题大致的框架内容。 2.针对课题内容，学习课题所需的相关技术，如掌握Linux常用命令和理解协同过滤算法的核心思想，最重要的是规划好整个课题项目的流程。 3.设计与实现：安装Linux、MySQL、Spark、IntelliJ IDEA等课题所需软件，并且搭建好大数据环境以及学习相关软件的使用。 4.平台实现：设计并实现一个用户分析系统，在MySQL中创建数据库，使用Scala语言开发Spark程序进行用户数据分析，使用eclipse开发动态网页可视化呈现电影推荐结果。 采用的方法如下： 本系统基于Spark的大数据平台、以协同过滤为核心推荐算法的电影推荐系统。具体的实现过程如下：首先，用Spark把准备好的用户数据集抽取到HDFS中，接下来使用Scala语言编写Spark程序，紧接着读取HDFS上的用户数据集进行模型训练，再利用可视化展示用户行为数据模型，把用户行为数据存入MySQL数据库中，最后利用eclipse搭建动态网页，把保存在MySQL数据库中的用户行为数据用网页的形式可视化呈现给用户。
参考文献 [1]张坤. 基于Spark机器学习的电影推荐系统的设计与实现[D].南京邮电大学,2022. [2]张鹏飞. 基于数据挖掘的个性化电影推荐系统设计与实现[D].杭州电子科技大学,2022. [3]朱本瑞. 基于Spark的离线与实时的电影推荐系统设计与实现[D].南京信息工程大学,2022. [4]邓介一,陈兰兰,梁会军.基于Scala的电影推荐系统的设计与实现[J].工业控制计算机,2022,35(05):104-106. [5]朱炳旭,叶传奇,王君洋,李应霆,李玉进.基于Spark大数据处理的电影推荐系统设计与实现[J].无线互联科技,2021,18(11):54-55. [6]杨浪. 基于Spark的电影推荐系统设计与实现[D].北京邮电大学,2021. [7]孙成.基于Spark的电影推荐系统的设计与实现[J].电脑知识与技术,2020,16(33):80-81+96. [8]雷畅. 基于Spark的电影推荐系统的设计与实现[D].华中科技大学,2019. [9]张玉叶.基于协同过滤的电影推荐系统的设计与实现[J].电脑知识与技术,2019,15(06):70-73. [10]林子雨.大数据技术原理与应用：概念、存储、处理、分析与应用[M].北京：人民邮电出版社，2017:5-1 [11]刘欢天. 基于协同过滤的分布式电影推荐系统设计与实现[D].西安电子科技大学,2015. [12]Cui Bei Bei. Design and Implementation of Movie Recommendation System Based on Knn Collaborative Filtering Algorithm[J]. ITM Web of Conferences,2017,12.
指导教师意见（对本课题的深度、广度及工作量的意见及开题是否通过）： 通过 □   完善后通过 □   未通过 □          指导教师签名：　　　　 　年　　月　　日
院（系）主任意见：                                                   签名：                年    月    日

注：开题报告用A4纸打印装订在毕业论文（设计）任务书后，学生可根据开题报告的长度加页。

    开题是否通过请指导教师在□内打“√”。