Spark SQL两道超经典练习题！必会！

Spark SQL 练习题

题目1：有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，请统计：
1）每个店铺的UV（访客数）
2）每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数
数据参考：jd_visit.log文件
u1 a
u2 b
u1 b
u1 a
u3 c
u4 b
u1 a
u2 c
u5 b
u4 b
u6 c
u2 c
u1 b
u2 a
u2 a
u3 a
u5 a
u6 a

答案：

def main(args: Array[String]): Unit = {
   
    val spark: SparkSession =
      SparkSession.builder()
        .appName("test1")
        .master("local[*]")
        .getOrCreate()

    import spark.implicits._
     val list4: RDD[String] = spark.sparkContext.textFile("F:\\学习资料\\8 大数据\\大数据预热视频\\8.Spark\\jd_visit.log")
    val jdvisit: DataFrame = list4.map(_.split(" ")).map(t => (t(0), t(1))).toDF("userId", "shop")
    jdvisit