spark
文章平均质量分 94
QQ2743785109
这个作者很懒,什么都没留下…
展开
-
基于Hadoop平台的音乐推荐系统的设计与实现
近年来,随着网络技术的发展,在线音乐平台成为人们听歌曲的首选。面对海量的音乐数据,用户们往往显得无从选择。听歌作为日常的娱乐放松方式,一首首的试听明显不太现实,所以需要进行一定程度的筛选。本论文根据此需求,设计并实现了一个音乐推荐系统。该系统是基于Spring Boot框架,运用到Hadoop平台中HDFS进行存储,Map Reduce进行计算。该系统前端由首页管理、歌曲歌手管理及个人信息管理等主要功能模块构成,能够满足用户想要的歌单推荐和歌曲推荐。原创 2023-11-02 23:48:56 · 1487 阅读 · 1 评论 -
基于数据挖掘的餐厅点餐推荐系统
Java是一种简单易用、完全面向对象、具有平台无关性且安全可靠的主要面向互联网的开发工具。自从1995年正式问世以来,Java的快速发展已经让整个网络世界发生了翻天覆地的变化。Java成为基于Web的应用程序的首选开发工具,目前的Java技术已成为所有大型电子商务项目的必然选择。[3]数据挖掘是指从大量的数据中通过算法找到隐藏于其中信息的过程。数据挖掘是通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘原创 2023-10-30 23:41:47 · 271 阅读 · 0 评论 -
基于Scrapy框架爬取租房网站数据及可视化分析
如今这个大数据时代,面对网络上浩如烟海的信息,如何从中提取有效信息成为问题。本文基于Scrapy框架以杭州链家网租房信息为对象,爬取租房信息,其中为突破爬虫封锁采用IP代理池、布隆去重等多种方法。同时将数据存储于数据库,并利用Pandas清洗数据。最后将数据利用Flask和Echarts在前端以图表的形式输出,并分析得出杭州租房面积和金额的分布,房源大多集中在余杭区和萧山区,租房价格滨江区最贵、租房楼层一般是高楼层等结论,为租客提供参考。关键词:Scrapy;网络爬虫;反爬虫;URL去重;数据可视化。原创 2023-10-29 19:32:02 · 288 阅读 · 0 评论 -
基于spark的音乐数据分析系统的设计与实现
本文主要对音乐数据,进行分析,系统技术主要使用,1.对原始数据集进行预处理;3.使用python语言编写Spark程序对HDFS中的数据进行处理分析,并把分析结果写入到MySQL数据库;4.利用Spark MLlib进行数据和关系预测;5.利用IntelliJ IDEA搭建动态Web应用;6.利用plotly进行前端可视化分析。关键词:音乐数据分析;可视化分析;python语言本文对网易云音乐平台的数据进行分析,分析年度音乐专辑销量TOP10;年度月排行榜榜首播放量;最受欢迎的音乐类型;原创 2023-10-27 23:58:38 · 1902 阅读 · 2 评论 -
基于Spark集群的电影分享社交平台的设计与实现
本论文主要针对互联网上海量信息对用户造成的选择困扰问题,设计并实现了一款基于Spark集群的电影分享社交平台,该平台使用SpringBoot框架搭建Web平台,用Spark集群以及协同过滤算法对数据进行计算,推荐用户可能喜欢的电影,过滤用户不需要的垃圾信息,向用户提供个性化服务,以及使用Socket技术实现在线实时聊天,让用户体验良好的在线互动,并且增加了电影评论的功能,让用户在挑选电影观看之前能够快速通过电影评分以及他人评价,得到电影是否适合自己观看的合理判断。原创 2023-10-26 19:50:11 · 180 阅读 · 0 评论