Spark SQL两道超经典练习题！必会！

最新推荐文章于 2024-04-15 20:30:54 发布

郎er

最新推荐文章于 2024-04-15 20:30:54 发布

阅读量1.7k

点赞数 1

分类专栏：大数据练习文章标签： sql spark

本文链接：https://blog.csdn.net/m0_59737088/article/details/119580768

版权

该博客提供了两个Spark SQL练习题，涉及店铺访问统计和用户访问次数累计分析。第一题要求统计每个店铺的UV及访问次数最多的前三个访客，第二题则需要计算每个用户的月度累计访问次数。通过这两题，读者可以加深对Spark SQL处理大数据分析的理解。

摘要由CSDN通过智能技术生成

Spark SQL 练习题

题目1：有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，请统计：
1）每个店铺的UV（访客数）
2）每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数
数据参考：jd_visit.log文件
u1 a
u2 b
u1 b
u1 a
u3 c
u4 b
u1 a
u2 c
u5 b
u4 b
u6 c
u2 c
u1 b
u2 a
u2 a
u3 a
u5 a
u6 a

答案：

def main(args: Array[String]): Unit = {
   
    val spark: SparkSession =
      SparkSession.builder()
        .appName("test1")
        .master("local[*]")
        .getOrCreate()

    import spark.implicits._
     val list4: RDD[String] = spark.sparkContext.textFile("F:\\学习资料\\8 大数据\\大数据预热视频\\8.Spark\\jd_visit.log")
    val jdvisit: DataFrame = list4.map(_.split(" ")).map(t => (t(0), t(1))).toDF("userId", "shop")
    jdvisit