Spark-RDD实战影评数据分析一

最新推荐文章于 2024-05-02 22:44:10 发布
最新推荐文章于 2024-05-02 22:44:10 发布
阅读量1.5k 收藏 22
点赞数 1
分类专栏： spark 基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h471507602/article/details/105163793
版权
这篇博客通过Spark-RDD进行影评数据分析，包括用户、电影和评分数据的处理。涉及多个需求，如电影评分次数统计、男女用户评分偏好、特定年龄段喜好电影、电影平均评分等。文章提供项目结构和Utils类的代码，并逐步解释了每个需求的解决方案。
摘要由CSDN通过智能技术生成

---------

数据集下载

数据结构分析

本次所分析的数据有用户、电影、评分三个表，结构如下：
用户表
在这里插入图片描述
电影表
在这里插入图片描述
评分表
在这里插入图片描述
数据一瞥
在这里插入图片描述

数据分析

一共有十个需求，需求一到五作为学习参考，需求六到十自己动手实践。
项目结构如图：
在这里插入图片描述

在分析之前，先建立一个Utils类，主要用于初始化配置信息以及解析原始数据。（记得修改数据文件路径）

package movie

import org.apache.spark.rdd.RDD
import org.apache.spark.{ SparkConf, SparkContext}

class

最低0.47元/天 解锁文章
这个程序员不太冷
关注
  • 1
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
电光石火间体验Spark 3.0开发实战
08-16
在大数据和AI紧密协同时代，最佳的AI系统依赖海量数据才能构建出高度复杂的模型，海量数据需要借助Al才能挖掘出终极价值。本书以数据智能为灵魂，以Spark 2.4.X版本为载体，以Spark+ AI商业案例实战和生产环境下几乎所有类型的性能调优为核心，对企业生产环境下的Spark+AI商业案例与性能调优抽丝剥茧地进行剖析。全书共分4篇，内核解密篇基于Spark源码，从一个实战案例入手，循序渐进地全面解析Spark 2.4.X版本的新特性及Spark内核源码;商业案例篇选取Spark开发中最具代表性的经典学习案例，在案例中综合介绍Spark的大数据技术;性能调优篇覆盖Spark在生产环境下的所有调优技术; Spark+ AI内幕解密篇讲解深度学习动手实践，通过整合Spark、PyTorch以及TensorFlow揭秘Spark上的深度学习内幕。本课程基于《Spark大数据商业实战三部曲》第二版，以Spark 3.0新版本为载体，讲解第一章的内容。
RDD实战电影点评系统案例
略略略的博客
12-03 627
下面的案例中使用的是用户观看电影和点评电影的行为数据，数据来源与网络上的公开数据共有三个数据文件。 users.dat UserID::Gender::Age::Occupation::Zip-code ratings.dat UserID::MovieID::Rating::Timestamp movies.dat MovieID::Title::Genres package chapte...
2024年大数据最新大数据Spark电影评分数据分析_spark分析电影评分数据集(1)
最新发布
2401_84185074的博客
05-02 73
/ TODO: 将分析的结果数据保存MySQL数据库和CSV文件。// 2. 保存CSV文件：每行数据中个字段之间使用逗号隔开。// 1. 读取电影评分数据，从本地文件系统读取。// 第一步、注册DataFrame为临时视图。// 第一步、注册DataFrame为临时视图。// 结果DataFrame被使用多次，缓存。// TODO： 基于SQL方式分析。// TODO： 基于SQL方式分析。// 按照分割符分割，拆箱到变量中。// 过滤：评分次数大于2000。// 第二步、编写SQL。
Spark RDD实现电影流行度分析
zhuzi51的专栏
01-02 764
楔子 学习《spark大数据商业实战》第12章节，统计所有电影平均得分最高的前10部电影 数据说明 数据下载 CSDN位置 或者在此处下载 详细github代码 1:用户文件users.dat--------------------------------------- UserID::Gender::Age::OccupationID::Zip-code 用户id 性别M是男性 年龄 ...
电影评分数据分析案例-[Java]
weixin_58362422的博客
06-06 917
movie.txt movie：电影id rate：用户评分 timeStamp：评分时间 uid：用户id
Spark综合练习——电影评分数据分析
Maynor的博客
05-31 9741
以上便是电影评分数据分析spark版，愿你读过之后有自己的收获,如果有收获不妨一键三连一下~
大数据spark企业级实战 完整版
09-04
1. **Spark架构**：了解Spark的弹性分布式数据集（RDD）概念，以及Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算）等主要组件的工作原理。 2. **数据加载与转换**：学习如何使用...
Spark-快速大数据分析-中文版书籍
01-05
《Spark-快速大数据分析》是一本深入探讨Apache Spark技术的中文版书籍，旨在帮助读者理解和掌握这个高效的数据处理框架。Spark的设计目标是提供一个统一的、高性能的平台，用于大规模数据处理，支持批处理、交互式...
Spark大数据分析与实战.zip
04-02
《Spark大数据分析与实战》是针对大数据处理领域中Spark框架的一份综合教程，旨在帮助读者深入理解和掌握Spark的核心概念、架构及其在实际项目中的应用。Spark作为一种快速、通用且可扩展的大数据处理引擎，因其高效...
Python3实战Spark大数据分析及调度-第1章 课程介绍.zip
04-30
在本课程"Python3实战Spark大数据分析及调度-第1章 课程介绍"中，我们将深入探讨使用Python3与Apache Spark进行大数据分析和任务调度的基础知识。这一章主要作为整个课程的导论，旨在帮助初学者理解Spark的核心概念...
Python3实战Spark大数据分析及调度-第9章 Spark Streaming.zip
04-30
在本章"Python3实战Spark大数据分析及调度-第9章 Spark Streaming"中，我们将深入探讨Apache Spark的实时处理框架——Spark Streaming。Spark Streaming是Apache Spark的一个重要组件，它允许开发人员以微批处理的...
Spark RDD分析各种类型的最喜爱电影TopN技巧
zhuzi51的专栏
01-03 2475
楔子 学习《spark大数据商业实战》第12章节 通过RDD分析大数据电影点评系统各种类型的电影最喜爱电影TopN。本次分析最受男性(女性)喜爱的电影Top10 里面复用了Spark RDD实现电影流行度分析 思路 因为要使用电影数据RDD，所以复用了Spark RDD实现电影流行度分析 根据性别过滤数据 要进行join 需要key-values join之后的数据(2828,((3793,...
实验四 Spark程序设计进阶
User
04-04 2046
Spark影评实战，使用Spark各种RDD算子处理实际问题
使用Spark进行排名统计
random0815的博客
04-10 4025
使用Spark进行简单的数据统计 给定数据集为各年龄段不同性别的用户对电影观看情况的一个统计主要用了Spark中算子的一些操作 相关的数据文件 1. 年龄段在“18-24”的男性年轻人，最喜欢看哪10部 首先读取文件，在用户文件中读取符合条件的年轻人 val conf =new SparkConf().setAppName("read_gz_file...
Spark RDD算子/SparkSQL分别实现对电影数据集的简单数据分析
Nougats的博客
06-22 2652
数据集：MovieLens 1M Dataset users.dat UserID::Gender::Age::Occupation::Zip-code movies.dat MovieID::Title::Genres ratings.dat UserID::MovieID::Rating::Timestamp 1.年龄段在“18-24”的男性年轻人，最喜欢看哪10部
Spark影评数据分析一
我的博客
03-26 2256
数据来源 数据集下载 数据结构分析 本次所分析的数据有用户、电影、评分三个表，结构如下： 用户表 电影表 评分表 数据一瞥 数据分析 一共有十个需求，需求一到五作为学习参考，需求六到十自己动手实践。 项目结构如图： 在分析之前，先建立一个Utils类，主要用于初始化配置信息以及解析原始数据。（记得修改数据文件路径） package movie import org.apache.spa...
大数据 Spark ：利用电影观看记录数据，进行电影推荐 | 原力计划
CSDN云计算
06-18 2338
作者 | lomtom责编 | 王晓曼出品 | CSDN博客准备1、任务描述在推荐领域有一个著名的开放测试集，下载链接是：http://grouplens.org/datasets/m...
影评项目（hive）
博客&brz
10-21 1264
现有如此三份数据： 1、users.dat 数据格式为： 2::M::56::16::70072 对应字段为：UserID BigInt,Gender String,Age Int,Occupation String,Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji (1995)::Adventur...
spark电影受众系统
ping的博客
08-05 755
   数据准备 1 下载数据 链接:https://pan.baidu.com/s/165de8xKYl0QBq8lGzYGW6g  密码:brb9 链接:https://pan.baidu.com/s/1-jxcAYoybNV5TYL7xbzi9A  密码:id59 2 上传hdfs [root@node1 data]# hdfs dfs -put ml-1m/ input [ro...
Spark大数据分析实战：简易API与核心原理
"Spark快速大数据分析，一本面向Spark初学者的书籍，主要介绍如何使用Spark进行高效的数据分析。书中不仅涵盖Spark的基本用法，还深入解释其核心概念和工作原理，帮助读者理解并行作业的实现，包括批处理、流处理和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值