Spark影评数据分析一

最新推荐文章于 2023-05-29 10:32:04 发布
最新推荐文章于 2023-05-29 10:32:04 发布
阅读量2.3k 收藏 27
点赞数 4
文章标签： spark 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41798641/article/details/105120588
版权
本文介绍了使用Spark进行电影影评数据分析的过程，包括数据来源、数据结构分析和十大需求的解决方案。涉及用户、电影和评分三张表，通过Spark解决如最常评分电影、性别评分偏好、年龄观影习惯等复杂问题。
摘要由CSDN通过智能技术生成

数据来源

数据集下载

数据结构分析

本次所分析的数据有用户、电影、评分三个表，结构如下：
用户表
在这里插入图片描述
电影表
在这里插入图片描述
评分表
在这里插入图片描述
数据一瞥
在这里插入图片描述

数据分析

一共有十个需求，需求一到五作为学习参考，需求六到十自己动手实践。
项目结构如图：
在这里插入图片描述

在分析之前，先建立一个Utils类，主要用于初始化配置信息以及解析原始数据。（记得修改数据文件路径）

package movie

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

class Utils {
   
  val conf = new SparkConf().</
最低0.47元/天 解锁文章
唱游-
关注
基于Spark的电影数据集分析
06-24
该项目是大三下学期的课程设计，使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计报告和完整的代码。希望对你们有帮助。
基于spark的电影数据分析
毕业作品网站
10-10 6925
在对大数据的深入研究后，根据其前景，包括数据方面的发展与价值，本套系统从用户痛点需求进行分析入手，对系统架构进行了设计，随后完成了系统方面的具体设计，最后为数据入库对DB进行配置和设计，最后到系统搭建和编码实现，分别为后台数据处理，在数据转换方面包括数据的clean、临时存储落地，数据经过完全处理后入库，和前台的ECharts可视化系统，对处理后落地的数据使用饼图进行可视化展现。大数据系统的结构设计、系统总体设计、系统功能模块划分、系统功能模块需求、数据库设计概述、数据库概览结构设计、数据逻辑结构设计。
Spark SQL实验：鸢尾花、影评数据集分析存储
qq_44992559的博客
02-18 1257
一、实验描述  鸢尾花数据集分析 数据集信息如下： iris.csv 的各特征列为花萼长度(sepal_length)、花萼宽度(sepal_width)、花瓣长度(petal_length)、花瓣宽度(petal_width)、鸢尾花种类(iris_type)，每种鸢尾花都对应50个数据记录, 共含150个数据记录。 导入鸢尾花数据集到Mysql之后，进行如下查询： (1) 所有鸢尾花的花萼与花瓣的长度、宽度的均值 (2) 不同种类的鸢尾花的花萼与花瓣的长度、宽度的均值 (3) 不同种类的鸢尾花的花萼
大数据Spark电影评分数据分析
赵广陆
08-24 7491
目录1 数据 ETL2 使用 SQL 分析3 使用 DSL 分析4 保存结果数据5 案例完整代码6 Shuffle 分区数目问题 1 数据 ETL 使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明：对电影评分数据进行统分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)。数据集ratings.dat总共100万条数据，数据格式如下每行数据各个字段之间使用双冒号分开： 数据处理分析步骤如下： 1. 第一步、读取电影评分
Spark综合练习——电影评分数据分析
Maynor的博客
05-31 9837
以上便是电影评分数据分析spark版，愿你读过之后有自己的收获,如果有收获不妨一键三连一下~
基于豆瓣电影爬虫及Spark数据分析可视化设计
11-01
该豆瓣电影数据分析分析可视化系统主要可以实现至少对一万条电影数据的爬取和分析，可以从中分析出热门电影类型数据占比、历年电影上线走势、电影高频词统计分析、电影评分等级分析、影评时间统计分析、上线电影...
Spark影评数据分析
Failyell的博客
03-31 732
Spark影评数据分析 一、数据来源 网址：https://grouplens.org/datasets/movielens/ 二、数据结构分析 本次所分析的数据有用户、电影、评分三个表，结构如下： 1.用户表 字段名 类型 备注 用户ID String 性别 String “M” for male and “F” for female 年龄 Int * 1: “Under 18” * 18: “18-24” * 25: “25-34” * 35: “35-44” * 45: “45-49”
基于豆瓣电影爬虫及Spark数据分析可视化设计毕业源码案例设计
最新发布
03-25
1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合...
SparkSQL 电影评价数据分析
weixin_34209406的博客
08-31 791
当我做了很多Spark Core练习，喜欢写map、reduce，后来又开始用SparkSQL ，感觉SQL比mapReduce简洁优雅很多。 SQL是我的短板，通过Spark SQL又练习了group by、join 、case when 等语法。 数据集介绍 These files contain ...
基于SparkSQL的电影分析项目实战
Maynor的博客
01-03 2652
在本篇分享中，将介绍一个完整的项目案例，该案例会真实还原企业中SparkSQL的开发流程，手把手教你构建一个基于SparkSQL的分析系统。为了讲解方便，我会对代码进行拆解，完整的代码已上传至GitHub，想看完整代码可以去clone，顺便给个**Star**。以下是全文，希望本文对你有所帮助。看完记得三连：分享、点赞、在看 https://github.com/jiamx/spark_project_practise 项目介绍 数据集介绍 使用MovieLens的名称为ml-25m.zip的数据集，使用
基于spark的电影推荐系统数据集
05-27
基于spark的电影推荐系统数据集
完整基于spark的电影推荐系统数据集
09-07
完整的基于spark的电影推荐系统数据集,保证可用,积分给少一点,大家放心下载吧
基于spark的电影点评系统
04-08
该项目是我大三下学期的课程设计，主要实现一个基于Spark实现电影点评系统用户行为分析，用户可以对自己已经看过的电影做出一定的评价，然后对这些观影数据信息进行分析。
基于SPARK的大数据实战（在线电影推荐）
02-03
基于SPARK的大数据实战（在线电影推荐），使用最主流的大数据技术，实现电影的推荐，包含代码。
Spark大数据-TMDB电影数据分析（spark-scala版）
chenbengang的博客
01-16 9213
TMDB电影数据分析（spark-scala版，pyspark版本） 基于kaggle的TMDB电影数据集的数据分析，该数据集包含大约 5000 部电影的相关数据，TMDB数据下载。分析电影关键词的分布、电影投入以及收益评价等之间的关系，并使用Python web进行可视化。 一.环境要求（仅供参考） centos7、hadoop、spark、bottle（一种基于Python的web框架）。 二...
使用SparkSQL的电影分析
yang灬仔
05-15 2232
项目介绍 数据集介绍 使用MovieLens的名称为ml-25m.zip的数据集，使用的文件时movies.csv和ratings.csv，上述文件的下载地址为： http://files.grouplens.org/datasets/movielens/ml-25m.zip movies.csv 该文件是电影数据，对应的为维表数据，大小为2.89MB，包括6万多部电影，其数据格式为[movieId,title,genres],分别对应[电影id，电影名称，电影所属分类]，样例数据如下所
基于Spark的电影分析与推荐系统
一只程序猿子的博客
05-29 1088
本篇介绍了一个基于Spark的电影推荐与分析系统.基于Python+Spark+Django+MySQL+BootStrap进行开发,其中的推荐算法这里使用的是基于用户的协同过滤算法.
大数据Spark（二十八）：SparkSQL案例三电影评分数据分析
Lansonli（蓝深李）的博客
04-17 4867
原因：在SparkSQL中当Job中产生Shuffle时，默认的分区数（spark.sql.shuffle.partitions ）为200，在实际项目中要合理的设置。可以在构建SparkSession实例对象时进行设置。运行上述程序时，查看WEB UI监控页面发现，某个Stage中有200个Task任务，也就是说RDD有200分区Partition。
基于电影爬虫及Spark数据分析可视化设计-计算机毕业源码设计
计算机源码设计案例的博客
11-06 4085
由于我国经济的不断增长，人们的物质生活也在不断提升，因此越来越多的人观影需求增加以丰富精神生活，为分析当下用户的观影偏好以及方便人们从众多的影片中作出合适的选择，本文基于Spark分析平台及python爬虫技术等设计了一个豆瓣电影数据分析可视化系统，以完成对豆瓣电影网页的数据进行爬取，进而以折线图图、直方图等多种数据可视化的形式直观的展示给用户，从而分析用户观影偏好以及为用户选择影片时提供一定的参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值