Burks练习题、JD Log练习题

最新推荐文章于 2023-05-15 16:32:52 发布
最新推荐文章于 2023-05-15 16:32:52 发布
阅读量198 收藏 1
点赞数
分类专栏： Spark基础 初学大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/124823384
版权 
公司代码,年度,1月-------------------------12月的收入金额
burk,year,tsl01,tsl02,tsl03,tsl04,tsl05,tsl06,tsl07,tsl08,tsl09,tsl10,tsl11,tsl12
853101,2010,100200,25002,19440,20550,14990,17227,40990,28778,19088,29889,10990,20990
853101,2011,19446,20556,14996,17233,40996,28784,19094,28779,19089,29890,10991,20991
853101,2012,19447,20557,14997,17234,20560,15000,17237,28780,19090,29891,10992,20992
853101,2013,20560,15000,17237,41000,17234,20560,15000,17237,41000,29892,10993,20993
853101,2014,19449,20559,14999,17236,41000,28788,28786,19096,29897,41000,28788,20994
853101,2015,100205,25007,19445,20555,17236,40999,28787,19097,29898,29894,10995,20995
853101,2016,100206,25008,19446,20556,17237,41000,28788,19098,29899,29895,10996,20996
853101,2017,100207,25009,17234,20560,15000,17237,41000,15000,17237,41000,28788,20997
853101,2018,100208,25010,41000,28788,28786,19096,29897,28786,19096,29897,10998,20998
853101,2019,100209,25011,17236,40999,28787,19097,29898,28787,19097,29898,10999,20999
846271,2010,100210,25012,17237,41000,28788,19098,29899,28788,19098,29899,11000,21000
846271,2011,100211,25013,19451,20561,15001,17238,41001,28789,19099,29900,11001,21001
846271,2012,100212,100213,20190,6484,46495,86506,126518,166529,206540,246551,286562,326573
846271,2013,100213,100214,21297,5008,44466,83924,123382,162839,202297,241755,281213,320671
846271,2014,100214,100215,22405,3531,42436,81341,120245,159150,198055,236959,275864,314769
846271,2015,100215,100216,23512,2055,19096,29897,28786,19096,29897,41000,29892,308866
846271,2016,100216,100217,24620,579,38377,76175,28788,28786,19096,29897,41000,302964
846271,2017,100217,100218,25727,898,36347,73592,40999,28787,19097,29898,29894,297062
846271,2018,100218,100219,26835,2374,34318,71009,41000,28788,19098,29899,29895,291159
846271,2019,100219,100220,27942,3850,32288,68427,17237,41000,15000,17237,41000,285257


1、统计每个公司每年按月累计收入  行转列 --> sum窗口函数

输出结果
公司代码,年度,月份,当月收入,累计收入


2、统计每个公司当月比上年同期增长率  行转列 --> lag窗口函数
公司代码,年度,月度,增长率（当月收入/上年当月收入 - 1）

package com.shujia.sql

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{Column, DataFrame, SparkSession}

object Demo07Burks {
  def main(args: Array[String]): Unit = {
    //创建SparkSession
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Demo07Burks")
      .master("local")
      .config("spark.sql.shuffle.partitions",2)//默认200
      .getOrCreate()

    //导入function以及隐式转换
    import org.apache.spark.sql.functions._
    import spark.implicits._

    //读取数据
    val burksDF: DataFrame = spark
      .read
      .format("csv")
      .option("sep", ",")
      .schema("burk String,year String,tsl01 String,tsl02 String,tsl03 String,tsl04 String,tsl05 String,tsl06 String,tsl07 String,tsl08 String,tsl09 String,tsl10 String,tsl11 String,tsl12 String")
      .load("Spark/data/burks.txt")

    burksDF.cache()
    burksDF.createOrReplaceTempView("burks")
    burksDF.show()

    //1、统计每个公司每年按月累计收入
    
    //SQL的方式
    spark
      .sql(
      """
        |SELECT  t1.burk
        |        ,t1.year
        |        ,t1.month
        |        ,t1.amount
        |        ,sum(t1.amount) over(partition by t1.burk,t1.year order by t1.month) as sum_amount
        |from(
        |        SELECT  burk
        |                ,year
        |                ,month
        |                ,amount
        |        from burks lateral view explode(map(1,tsl01,2,tsl02,3,tsl03,4,tsl04,5,tsl05,6,tsl06,7,tsl07,8,tsl08,9,tsl09,10,tsl10,11,tsl11,12,tsl12)) v1 as month,amount
        |) t1
        |""".stripMargin)
      .show(50)

    val col: Column = map(
      expr("1"), $"tsl01"
      , expr("2"), $"tsl02"
      , expr("3"), $"tsl03"
      , expr("4"), $"tsl04"
      , expr("5"), $"tsl05"
      , expr("6"), $"tsl06"
      , expr("7"), $"tsl07"
      , expr("8"), $"tsl08"
      , expr("9"), $"tsl09"
      , expr("10"), $"tsl10"
      , expr("11"), $"tsl11"
      , expr("12"), $"tsl12"
    )

    // DSL的方式
    burksDF
      .select($"burk"
        , $"year"
        , explode(col) as Array("month", "amount"))
      .select($"burk", $"year", $"month", $"amount",
        sum($"amount") over Window.partitionBy($"burk", $"year").orderBy($"month") as "sum_amount")
      .show()

    // 2、统计每个公司当月比上年同期增长率

    // SQL的方式
    spark.sql(
      """
        |select  tt1.burk
        |        ,tt1.year
        |        ,tt1.month
        |        ,tt1.amount
        |        ,tt1.last_amount
        |        ,round(tt1.amount / tt1.last_amount,8) -1 as incr
        |from (
        |        SELECT  t1.burk
        |                ,t1.year
        |                ,t1.month
        |                ,t1.amount
        |                ,lag(t1.amount,1) over(partition by burk,month  order by year ) as last_amount
        |        from (
        |                SELECT  burk
        |                        ,year
        |                        ,month
        |                        ,amount
        |                from burks lateral view explode(map(1,tsl01,2,tsl02,3,tsl03,4,tsl04,5,tsl05,6,tsl06,7,tsl07,8,tsl08,9,tsl09,10,tsl10,11,tsl11,12,tsl12)) v1 as month,amount
        |        ) t1
        |) tt1
        |""".stripMargin)
      .show()

    // DSL
    burksDF
      .select($"burk"
        , $"year"
        , explode(col) as Array("month", "amount"))
      .select($"burk", $"year", $"month", $"amount",
        lag($"amount", 1) over Window.partitionBy($"burk", $"month").orderBy($"year") as "last_amount")
      .select($"burk", $"year", $"month", $"amount", $"last_amount", round($"amount" / $"last_amount", 8) - 1 as "incr")
      .show()
  }
}
+------+----+------+------+-----+-----+-----+-----+------+------+------+------+------+------+
|  burk|year| tsl01| tsl02|tsl03|tsl04|tsl05|tsl06| tsl07| tsl08| tsl09| tsl10| tsl11| tsl12|
+------+----+------+------+-----+-----+-----+-----+------+------+------+------+------+------+
|853101|2010|100200| 25002|19440|20550|14990|17227| 40990| 28778| 19088| 29889| 10990| 20990|
|853101|2011| 19446| 20556|14996|17233|40996|28784| 19094| 28779| 19089| 29890| 10991| 20991|
|853101|2012| 19447| 20557|14997|17234|20560|15000| 17237| 28780| 19090| 29891| 10992| 20992|
|853101|2013| 20560| 15000|17237|41000|17234|20560| 15000| 17237| 41000| 29892| 10993| 20993|
|853101|2014| 19449| 20559|14999|17236|41000|28788| 28786| 19096| 29897| 41000| 28788| 20994|
|853101|2015|100205| 25007|19445|20555|17236|40999| 28787| 19097| 29898| 29894| 10995| 20995|
|853101|2016|100206| 25008|19446|20556|17237|41000| 28788| 19098| 29899| 29895| 10996| 20996|
|853101|2017|100207| 25009|17234|20560|15000|17237| 41000| 15000| 17237| 41000| 28788| 20997|
|853101|2018|100208| 25010|41000|28788|28786|19096| 29897| 28786| 19096| 29897| 10998| 20998|
|853101|2019|100209| 25011|17236|40999|28787|19097| 29898| 28787| 19097| 29898| 10999| 20999|
|846271|2010|100210| 25012|17237|41000|28788|19098| 29899| 28788| 19098| 29899| 11000| 21000|
|846271|2011|100211| 25013|19451|20561|15001|17238| 41001| 28789| 19099| 29900| 11001| 21001|
|846271|2012|100212|100213|20190| 6484|46495|86506|126518|166529|206540|246551|286562|326573|
|846271|2013|100213|100214|21297| 5008|44466|83924|123382|162839|202297|241755|281213|320671|
|846271|2014|100214|100215|22405| 3531|42436|81341|120245|159150|198055|236959|275864|314769|
|846271|2015|100215|100216|23512| 2055|19096|29897| 28786| 19096| 29897| 41000| 29892|308866|
|846271|2016|100216|100217|24620|  579|38377|76175| 28788| 28786| 19096| 29897| 41000|302964|
|846271|2017|100217|100218|25727|  898|36347|73592| 40999| 28787| 19097| 29898| 29894|297062|
|846271|2018|100218|100219|26835| 2374|34318|71009| 41000| 28788| 19098| 29899| 29895|291159|
|846271|2019|100219|100220|27942| 3850|32288|68427| 17237| 41000| 15000| 17237| 41000|285257|
+------+----+------+------+-----+-----+-----+-----+------+------+------+------+------+------+

+------+----+-----+------+----------+
|  burk|year|month|amount|sum_amount|
+------+----+-----+------+----------+
|846271|2012|    1|100212|  100212.0|
|846271|2012|    2|100213|  200425.0|
|846271|2012|    3| 20190|  220615.0|
|846271|2012|    4|  6484|  227099.0|
|846271|2012|    5| 46495|  273594.0|
|846271|2012|    6| 86506|  360100.0|
|846271|2012|    7|126518|  486618.0|
|846271|2012|    8|166529|  653147.0|
|846271|2012|    9|206540|  859687.0|
|846271|2012|   10|246551| 1106238.0|
|846271|2012|   11|286562| 1392800.0|
|846271|2012|   12|326573| 1719373.0|
|846271|2014|    1|100214|  100214.0|
|846271|2014|    2|100215|  200429.0|
|846271|2014|    3| 22405|  222834.0|
|846271|2014|    4|  3531|  226365.0|
|846271|2014|    5| 42436|  268801.0|
|846271|2014|    6| 81341|  350142.0|
|846271|2014|    7|120245|  470387.0|
|846271|2014|    8|159150|  629537.0|
|846271|2014|    9|198055|  827592.0|
|846271|2014|   10|236959| 1064551.0|
|846271|2014|   11|275864| 1340415.0|
|846271|2014|   12|314769| 1655184.0|
|846271|2015|    1|100215|  100215.0|
|846271|2015|    2|100216|  200431.0|
|846271|2015|    3| 23512|  223943.0|
|846271|2015|    4|  2055|  225998.0|
|846271|2015|    5| 19096|  245094.0|
|846271|2015|    6| 29897|  274991.0|
|846271|2015|    7| 28786|  303777.0|
|846271|2015|    8| 19096|  322873.0|
|846271|2015|    9| 29897|  352770.0|
|846271|2015|   10| 41000|  393770.0|
|846271|2015|   11| 29892|  423662.0|
|846271|2015|   12|308866|  732528.0|
|846271|2016|    1|100216|  100216.0|
|846271|2016|    2|100217|  200433.0|
|846271|2016|    3| 24620|  225053.0|
|846271|2016|    4|   579|  225632.0|
|846271|2016|    5| 38377|  264009.0|
|846271|2016|    6| 76175|  340184.0|
|846271|2016|    7| 28788|  368972.0|
|846271|2016|    8| 28786|  397758.0|
|846271|2016|    9| 19096|  416854.0|
|846271|2016|   10| 29897|  446751.0|
|846271|2016|   11| 41000|  487751.0|
|846271|2016|   12|302964|  790715.0|
|853101|2010|    1|100200|  100200.0|
|853101|2010|    2| 25002|  125202.0|
+------+----+-----+------+----------+
only showing top 50 rows


+------+----+-----+------+----------+
|  burk|year|month|amount|sum_amount|
+------+----+-----+------+----------+
|846271|2012|    1|100212|  100212.0|
|846271|2012|    2|100213|  200425.0|
|846271|2012|    3| 20190|  220615.0|
|846271|2012|    4|  6484|  227099.0|
|846271|2012|    5| 46495|  273594.0|
|846271|2012|    6| 86506|  360100.0|
|846271|2012|    7|126518|  486618.0|
|846271|2012|    8|166529|  653147.0|
|846271|2012|    9|206540|  859687.0|
|846271|2012|   10|246551| 1106238.0|
|846271|2012|   11|286562| 1392800.0|
|846271|2012|   12|326573| 1719373.0|
|846271|2014|    1|100214|  100214.0|
|846271|2014|    2|100215|  200429.0|
|846271|2014|    3| 22405|  222834.0|
|846271|2014|    4|  3531|  226365.0|
|846271|2014|    5| 42436|  268801.0|
|846271|2014|    6| 81341|  350142.0|
|846271|2014|    7|120245|  470387.0|
|846271|2014|    8|159150|  629537.0|
+------+----+-----+------+----------+
only showing top 20 rows

+------+----+-----+------+-----------+--------------------+
|  burk|year|month|amount|last_amount|                incr|
+------+----+-----+------+-----------+--------------------+
|846271|2010|    1|100210|       null|                null|
|846271|2011|    1|100211|     100210|9.979999999965017E-6|
|846271|2012|    1|100212|     100211|9.979999999965017E-6|
|846271|2013|    1|100213|     100212|9.979999999965017E-6|
|846271|2014|    1|100214|     100213|9.979999999965017E-6|
|846271|2015|    1|100215|     100214|9.979999999965017E-6|
|846271|2016|    1|100216|     100215|9.979999999965017E-6|
|846271|2017|    1|100217|     100216|9.979999999965017E-6|
|846271|2018|    1|100218|     100217|9.979999999965017E-6|
|846271|2019|    1|100219|     100218|9.979999999965017E-6|
|846271|2010|    3| 17237|       null|                null|
|846271|2011|    3| 19451|      17237|          0.12844462|
|846271|2012|    3| 20190|      19451|0.037992910000000046|
|846271|2013|    3| 21297|      20190| 0.05482911999999995|
|846271|2014|    3| 22405|      21297|  0.0520261099999999|
|846271|2015|    3| 23512|      22405|0.049408609999999964|
|846271|2016|    3| 24620|      23512|0.047124869999999985|
|846271|2017|    3| 25727|      24620| 0.04496344000000008|
|846271|2018|    3| 26835|      25727| 0.04306758999999993|
|846271|2019|    3| 27942|      26835|  0.0412520999999999|
+------+----+-----+------+-----------+--------------------+
only showing top 20 rows

+------+----+-----+------+-----------+--------------------+
|  burk|year|month|amount|last_amount|                incr|
+------+----+-----+------+-----------+--------------------+
|846271|2010|    1|100210|       null|                null|
|846271|2011|    1|100211|     100210|9.979999999965017E-6|
|846271|2012|    1|100212|     100211|9.979999999965017E-6|
|846271|2013|    1|100213|     100212|9.979999999965017E-6|
|846271|2014|    1|100214|     100213|9.979999999965017E-6|
|846271|2015|    1|100215|     100214|9.979999999965017E-6|
|846271|2016|    1|100216|     100215|9.979999999965017E-6|
|846271|2017|    1|100217|     100216|9.979999999965017E-6|
|846271|2018|    1|100218|     100217|9.979999999965017E-6|
|846271|2019|    1|100219|     100218|9.979999999965017E-6|
|846271|2010|    3| 17237|       null|                null|
|846271|2011|    3| 19451|      17237|          0.12844462|
|846271|2012|    3| 20190|      19451|0.037992910000000046|
|846271|2013|    3| 21297|      20190| 0.05482911999999995|
|846271|2014|    3| 22405|      21297|  0.0520261099999999|
|846271|2015|    3| 23512|      22405|0.049408609999999964|
|846271|2016|    3| 24620|      23512|0.047124869999999985|
|846271|2017|    3| 25727|      24620| 0.04496344000000008|
|846271|2018|    3| 26835|      25727| 0.04306758999999993|
|846271|2019|    3| 27942|      26835|  0.0412520999999999|
+------+----+-----+------+-----------+--------------------+
only showing top 20 rows

 

题目1：
京东上会有很多店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，
访客的用户id为user_id
被访问的店铺名称为shop
user_id shop
u1 a
u2 b
u1 b
u1 a
u3 c
u4 b
u1 a
u2 c
u5 b
u4 b
u6 c
u2 c
u1 b
u2 a
u2 a
u3 a
u5 a
u6 a
请统计：（使用DSL完成）
1）每个店铺的UV（访客数），输出店铺名称、访客数
2）每个店铺访问次数top3的访客信息，输出店铺名称、访客id、访问次数

题目2：
有如下的用户访问数据：
userID visitDate visitCount
u01 2022/01/21 5
u02 2022/01/23 6
u03 2022/01/22 8
u04 2022/01/20 3
u01 2022/01/23 6
u02 2022/01/23 6
u01 2022/02/21 8
u01 2022/02/22 4
u02 2022/02/22 6
u03 2022/02/23 9
u04 2022/02/20 5
u01 2022/03/21 5
u02 2022/03/23 6
u03 2022/03/22 6
u03 2022/03/24 9
u04 2022/04/20 5
u01 2022/04/21 2
u02 2022/04/23 3
u03 2022/04/22 4
u04 2022/05/20 7
要求：
使用Spark SQL以及DSL两种方式，统计出每个用户每个月的访问次数以及累计访问次数
输出格式如下所示：
用户 月份 小计 累计
u01 2022-01 11 11
u01 2022-02 12 23
......
解释：
小计为单月访问次数，累计为在原有单月访问次数基础上累加
将计算结果写入到mysql的表中，自己设计对应的表结构

package com.shujia.sql

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Demo08JdLogAnalysis {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Demo08JdLogAnalysis")
      .master("local")
      .config("spark.sql.shuffle.partitions", 1) // 默认200
      .getOrCreate()

    import org.apache.spark.sql.functions._
    import spark.implicits._

    // 读取jd_logs.txt数据
    val jdLogsDF: DataFrame = spark
      .read
      .format("csv")
      .option("sep", " ")
      .schema("user_id String,shop String")
      .load("Spark/data/jd_logs.txt")

    //    jdLogsDF.show()

    /**
     * 请统计：（使用DSL完成）
     * 1）每个店铺的UV（访客数），输出店铺名称、访客数
     * 2）每个店铺访问次数top3的访客信息，输出店铺名称、访客id、访问次数
     */

    // 1）每个店铺的UV（访客数），输出店铺名称、访客数
    jdLogsDF
      .groupBy($"shop")
      .agg(countDistinct($"user_id") as "cnt")
          .show()

    // 2）每个店铺访问次数top3的访客信息，输出店铺名称、访客id、访问次数
    jdLogsDF
      .groupBy($"shop", $"user_id")
      .agg(count("*") as "cnt")
      .select($"shop", $"user_id", $"cnt",
        row_number() over Window.partitionBy($"shop").orderBy($"cnt".desc) as "rn")
      .where($"rn" <= 3)
      .select($"shop", $"user_id", $"cnt", $"rn")
          .show()

    // 读取jd_user_visit_cnt.txt数据
    val jdUserVisitCntDF: DataFrame = spark
      .read
      .format("csv")
      .option("sep", " ")
      .schema("user_id String,date String,cnt Int")
      .load("Spark/data/jd_user_visit_cnt.txt")

    jdUserVisitCntDF.show()

    // DSL
    // 统计出每个用户每个月的访问次数以及累计访问次数
    jdUserVisitCntDF
      .select($"user_id", $"date".substr(6, 2) as "month", $"cnt")
      .groupBy($"user_id", $"month")
      .agg(sum($"cnt") as "total_cnt")
      .select($"user_id", $"month", $"total_cnt",
        sum($"total_cnt") over Window.partitionBy($"user_id").orderBy($"month") as "sum_cnt")
      .write
      .format("jdbc")
      .option("truncate", "true") // 防止表结构发生改变 默认采取drop 加 create table 进行overwrite
      .option("url", "jdbc:mysql://rm-bp1h7v927zia3t8iwho.mysql.rds.aliyuncs.com:3306/stu016?useSSL=false")
      .option("dbtable", "jd_user_cnt")
      .option("user", "shujia016")
      .option("password", "123456")
      .mode(SaveMode.Overwrite)
      .save()
  }
}
+----+---+
|shop|cnt|
+----+---+
|   a|  5|
|   b|  4|
|   c|  3|
+----+---+

+----+-------+---+---+
|shop|user_id|cnt| rn|
+----+-------+---+---+
|   a|     u1|  3|  1|
|   a|     u2|  2|  2|
|   a|     u3|  1|  3|
|   b|     u1|  2|  1|
|   b|     u4|  2|  2|
|   b|     u2|  1|  3|
|   c|     u2|  2|  1|
|   c|     u3|  1|  2|
|   c|     u6|  1|  3|
+----+-------+---+---+

+-------+----------+---+
|user_id|      date|cnt|
+-------+----------+---+
|    u01|2022/01/21|  5|
|    u02|2022/01/23|  6|
|    u03|2022/01/22|  8|
|    u04|2022/01/20|  3|
|    u01|2022/01/23|  6|
|    u02|2022/01/23|  6|
|    u01|2022/02/21|  8|
|    u01|2022/02/22|  4|
|    u02|2022/02/22|  6|
|    u03|2022/02/23|  9|
|    u04|2022/02/20|  5|
|    u01|2022/03/21|  5|
|    u02|2022/03/23|  6|
|    u03|2022/03/22|  6|
|    u03|2022/03/24|  9|
|    u04|2022/04/20|  5|
|    u01|2022/04/21|  2|
|    u02|2022/04/23|  3|
|    u03|2022/04/22|  4|
|    u04|2022/05/20|  7|
+-------+----------+---+

小胖超凶哦！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkSQL实战案例
m0_51691291的博客
01-03 642
SparkSQL实战案例1、需求分析1.1、数据说明1.2、需求2、需求一3、需求二 1、需求分析 1.1、数据说明 每一列含义为：公司代码,年度,1月到12月的收入金额 burk,year,tsl01,tsl02,tsl03,tsl04,tsl05,tsl06,tsl07,tsl08,tsl09,tsl10,tsl11,tsl12 853101,2010,100200,25002,19440,20550,14990,17227,40990,28778,19088,29889,10990,20990 853
SparkSQL案例
csdnwindnorth的博客
11-20 294
import java.text.SimpleDateFormat import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession /** * @Autho: Administrator and wind * @Version: 2019/11/19 & 1.0 * * Spark...
spark sql案例分析
10-18
航班数据下载 问题提出，分析，如何根据问题一步步写出spark sql
Spark sql 简单示例
09-02 1820
都这个点了，很多同事还没有到公司，得那我就简单写个spark sql 的示例 回顾而知新，孔老子明智 package com.ib.e3 import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} /** * Created by xxxxoooo on
Spark SQL及实例
热门推荐
moledyzhang的博客
12-27 1万+
什么是Spark SQLSpark SQL是Apache Spark用于处理结构化数据的模块。Spark SQL允许使用SQL或熟悉的DataFrame API查询Spark程序内的结构化数据。Spark SQL支持多语言编程包括Java、Scala、Python和R，可以根据自身喜好进行选择。本文中所涉及的Spark SQL代码示例均使用python语言。Spark SQL的核心-DataFram
so-data-flows:安全洋葱的数据流程图
05-09
数据流 安全洋葱的数据流程图 这些是我试图弄清楚数据如何通过安全洋葱传输的... 道格•伯克斯（Doug Burks）现在有一个很好的示意图，在显示了同样的东西。 Barnyard 2 的作者是一个朋友，因此在我的图表中有注释...
Weather-Dashboard
05-27
## Developer Teangelo Burks 天气仪表板标准动态更新HTML和CSS代码。 使用第三方API。 显示当前的城市，日期，温度，湿度和紫外线指数。 在显示当前天气状况后，向用户显示为期5天的天气预报，其中显示日期，天气...
关系代数全解（精编版）.pdf
11-29
Burks的博士研究生。Codd提议这样一种代数作为数据库查询语言的根底。 关系代数的运算有六个原始运算，即选择、投影、笛卡尔积、并集、差集和重命名。这些运算可以组合以生成更多的运算，如交集、除法和自然连接。...
restaurant-dashboard
05-23
坦格洛·伯克斯（Teangelo Burks） 乔迪·布罗夫斯基（Jody Brzovski） 夏安·尼基伯里（Cheyenne Nickelberry） 用户的故事 AS often as I get hungry I WANT to find restaurants near me SO THAT I can ...
C_DataDrivenModels.pdf
03-15
美赛2019年C题评委点评报告，参考价值极大。 Rodney X. Sturdivant and Robert E. Burks以Data Driven Mathematical Modeling 为题目总结了自2016年美赛第一次设立C题以来的C题。
十五、Spark SQL案例分析
zlwm000的博客
06-17 363
创建Maven项目 - SparkSQLWordCount在pom.xml文件里添加依赖和构建插件 4.0.0 #### （四）修改源目录名称 将源目录名由java改成scala ![在这里插入图片描述](https://img-blog.csdnimg.cn/ef8d47f8d78a4c79b6c0fed3ef7ce411.png) 在pom.xml文件里，设置源目录 ![在这里插入图片描述](https://img-blog.csdnimg.cn/181621dbaaad49c6bb6eb86d67c
spark-SQL-案例(超级详细)
最新发布
互联网知识分享
05-15 799
那map( content =>{...} ) 每次取出来的content是多个单词组成的，所以用索引来定位哪一个单词，而这个定位是外部索引的地位,（内部索引就现相当于定位字母了）、查询Score表中 至少有5名学生选修的 并且以 3 开头的课程 的平均分数，count(1)表示 count(cno)而下面的例子中 每次取出的content,就一个单词，如果在使用索引就相当于定位构成单词的字母是哪一个。以下两句都是错误的，因为子查询返回了3个平均值(3类课程)，导致两个表不能比较，
spark sql简单示例
weixin_33845477的博客
06-16 85
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark sql 实战案例
TU_JCN的博客
07-11 888
1、sparksql 操作hivesql 添加依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.3.3</version> </dependency>
spark—SQL实战案例
weixin_44604159的博客
10-05 3419
对sparkSQL的学习进行案例练习
Spark SQL案例练习
FlatTiger的博客
03-29 472
需求：区域热门商品Top3 需求说明 这里的热门商品是从点击量的维度来看的。 计算各个区域前三大热门商品，并备注上每个商品在主要城市中的分布比例，超过两个城市用其他显示（如下图）。 数据准备 数据下载 链接：https://pan.baidu.com/s/1TuSGlD53Vc8rnH2UhC8TCg 提取码：tvmi 建表 CREATE TABLE `user_visit_action`( `date` string, `user_id` bigint, `session_id` str
spark_sql案例分析
m0_52106226的博客
01-20 187
uid,dt guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-02 guid01,2018-03-05 guid01,2018-03-04 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-02 guid02,2018-03-03 guid02,2018-03-06 需求计算连续登录三天及以上的用户 select --要把uid,和时间都去重因为有的客户一天会登录好
Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark SQL案例实战（一）...
weixin_34226182的博客
02-05 268
作者：周志湖 放假了，终于能抽出时间更新博客了……. 1. 获取数据 本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍 数据获取命令如下： [root@master spark]# git log --pretty=format:'{"commit":"%H","aut...
大数据之spark_spark SQL案例
WuBoooo的博客
10-04 282
连续登录三天的用户案例: 数据 uid,dt guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-01 guid01,2018-03-05 guid01,2018-03-02 guid01,2018-03-04 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-03 guid02,2018-03-02 guid02,2018-03-06 SQL代码实现 package c
Spark SQL的例子
u011007180的博客
11-22 378
package com.asto.lucius.spark.sparksql import org.apache.spark.{SparkContext, SparkConf} /** * Created by Administrator on 2015/7/7. */ object TestSQL { case class Trade(user_id: String, create_t

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值