超级会员免费看
本博客主要介绍了如何使用Spark SQL处理电影评分系统的数据。内容包括数据文件的结构解析，如ratings.csv、tags.csv、movies.csv和links.csv。通过Spark DataFrame操作，展示了计算电影平均评分的步骤，以及数据集的文件格式、编码和用户、电影ID的一致性。此外，还提及了数据的时间戳、评分范围和标签的用户生成元数据。
昨天的作业dataframe的 算子实现 ：
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
val PATH = "/data/moviesData/"
val moviesData = sc.textFile(PATH + "movies.dat")
val ratingsData = sc.textFile(PATH + "ratings.dat")
val usersData = sc.textFile(PATH + "users.dat")
val userSchemaString = "USERID::GENDER::AGE"
val userSchema = StructType(userSchemaString.split("::").map
import org.apache.spark.sql.Row
val PATH = "/data/moviesData/"
val moviesData = sc.textFile(PATH + "movies.dat")
val ratingsData = sc.textFile(PATH + "ratings.dat")
val usersData = sc.textFile(PATH + "users.dat")
val userSchemaString = "USERID::GENDER::AGE"
val userSchema = StructType(userSchemaString.split("::").map
订阅专栏 解锁全文
扫一扫
655
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
