大数据之spark_spark SQL案例

最新推荐文章于 2023-06-15 11:23:27 发布
最新推荐文章于 2023-06-15 11:23:27 发布
阅读量277 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WuBoooo/article/details/108914507
版权

连续登录三天的用户案例:

数据
uid,dt
guid01,2018-02-28
guid01,2018-03-01
guid01,2018-03-01
guid01,2018-03-05
guid01,2018-03-02
guid01,2018-03-04
guid01,2018-03-06
guid01,2018-03-07
guid02,2018-03-01
guid02,2018-03-03
guid02,2018-03-02
guid02,2018-03-06

SQL代码实现

package com.doit.spark.day10

import org.apache.spark.sql.{DataFrame, SparkSession}

object UsersLoginThreeDaysDemo {
  def main(args: Array[String]): Unit = {

    val sparkSession: SparkSession = SparkSession.builder().appName(this.getClass().getSimpleName).master("local[*]").getOrCreate()

    val dataFrame: DataFrame = sparkSession.read
      .option("header", "true") //读取数据的第一行作为表的字段名
      .option("inferSchema", "true") //自动推断数据类型
      .csv("D:\\每日总结\\视频\\spark\\spark-day10\\资料\\login.csv")

    dataFrame.createTempView("v_user_login")

    sparkSession.sql(
      s"""
        |
        |SELECT
        |  uid,
        |  MIN(dt) start_time,
        |  MAX(dt) end_time,
        |  COUNT(1) num_days
        |FROM
        |(
        |  SELECT
        |    uid,dt,
        |    DATE_SUB(dt,row_num) dis_date
        |  FROM
        |  (
        |    SELECT
        |      uid,dt,
        |      ROW_NUMBER() OVER(PARTITION BY uid ORDER BY dt ASC) as row_num --对uid开窗口,并在窗口内排序,打标记
        |    FROM
        |    (
        |      SELECT
        |        dis.uid,
        |        dis.dt
        |      FROM
        |      (
        |        SELECT
        |          DISTINCT(uid,dt) dis --将uid,dt联合去重
        |        FROM
        |          v_user_login
        |      )
        |    )
        |  )
        |)GROUP BY uid,dis_date HAVING num_days >= 3
        |
        |""".stripMargin).show()

sparkSession.stop()
  }
}


+------+----------+----------+--------+
|   uid|start_time|  end_time|num_days|
+------+----------+----------+--------+
|guid02|2018-03-01|2018-03-03|       3|
|guid01|2018-02-28|2018-03-02|       3|
|guid01|2018-03-04|2018-03-07|       4|
+------+----------+----------+--------+

DSL代码实现

package com.doit.spark.day10


import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{DataFrame, SparkSession}

object UsersLoginThreeDaysDemo {
  def main(args: Array[String]): Unit = {

    val sparkSession: SparkSession = SparkSession.builder().appName(this.getClass().getSimpleName).master("local[*]").getOrCreate()

    val dataFrame: DataFrame = sparkSession.read
      .option("header", "true") //读取数据的第一行作为表的字段名
      .option("inferSchema", "true") //自动推断数据类型
      .csv("D:\\每日总结\\视频\\spark\\spark-day10\\资料\\login.csv")

    //使用DSL风格的,需要先导入这两个隐式转换
    import sparkSession.implicits._
    import org.apache.spark.sql.functions._

    //去重
    dataFrame.distinct()
      .select('uid,$"dt",
        row_number() over(Window.partitionBy('uid).orderBy('dt)) as 'row_num
      ).select('uid,$"dt",
      date_sub('dt,'row_num) as 'dis_date
    ).groupBy('uid,'dis_date)
      .agg(min('dt),max('dt), count('*) as 'count_days )
      .where('count_days >= 3).show()

    sparkSession.stop()
  }
}


+------+----------+----------+----------+----------+
|   uid|  dis_date|   min(dt)|   max(dt)|count_days|
+------+----------+----------+----------+----------+
|guid02|2018-02-28|2018-03-01|2018-03-03|         3|
|guid01|2018-02-27|2018-02-28|2018-03-02|         3|
|guid01|2018-02-28|2018-03-04|2018-03-07|         4|
+------+----------+----------+----------+----------+

流量统计案例:

数据
1,2020-02-18 14:20:30,2020-02-18 14:46:30,20
1,2020-02-18 14:47:20,2020-02-18 15:20:30,30
1,2020-02-18 15:37:23,2020-02-18 16:05:26,40
1,2020-02-18 16:06:27,2020-02-18 17:20:49,50
1,2020-02-18 17:21:50,2020-02-18 18:03:27,60
2,2020-02-18 14:18:24,2020-02-18 15:01:40,20
2,2020-02-18 15:20:49,2020-02-18 15:30:24,30
2,2020-02-18 16:01:23,2020-02-18 16:40:32,40
2,2020-02-18 16:44:56,2020-02-18 17:40:52,50
3,2020-02-18 14:39:58,2020-02-18 15:35:53,20
3,2020-02-18 15:36:39,2020-02-18 15:24:54,30

sql代码实现

package com.doit.spark.day10

import org.apache.spark.sql.{DataFrame, SparkSession}


object FowRollupSQL {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder().appName(this.getClass.getSimpleName).master("local[*]").getOrCreate()

    val df: DataFrame = spark.read.option("header", "true").format("csv").load("D:\\每日总结\\视频\\spark\\spark-day06\\资料\\data.csv")

    //注册视图
    df.createTempView("v_user_flow")

    spark.sql(
      s"""
         |
         |SELECT
         |  uid,MIN(start_time),MAX(end_time),SUM(flow)
         |FROM
         |(
         |  SELECT
         |    uid,start_time,end_time,flow,
         |    SUM(num) OVER(PARTITION BY uid ORDER BY start_time) as sum_num  --在窗口内将给的数字加总,从而分开每个阶段
         |  FROM
         |  (
         |    SELECT
         |      uid,start_time,end_time,flow,
         |      IF((UNIX_TIMESTAMP(start_time)-UNIX_TIMESTAMP(lag_time))/60 >10 ,1,0) AS num  --判断时间差是否大于10分钟,大于就给1,小于就给0
         |    FROM
         |    (
         |      SELECT
         |        uid,start_time,end_time,flow,
         |        LAG(end_time,1,start_time) OVER(PARTITION BY uid ORDER BY start_time) as lag_time--将end_time往下压一行,第一行为null时,将start_time的值给它
         |      FROM
         |        v_user_flow
         |    )
         |  )
         |)GROUP BY uid,sum_num
         |
         |
         |
         |""".stripMargin).show()
  }
}

DSL风格代码实现

package com.doit.spark.day10

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{DataFrame, SparkSession}


object FowRollupSQL {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder().appName(this.getClass.getSimpleName).master("local[*]").getOrCreate()

    val df: DataFrame = spark.read.option("header", "true").format("csv").load("D:\\每日总结\\视频\\spark\\spark-day06\\资料\\data.csv")

    import spark.implicits._
    import org.apache.spark.sql.functions._

    df.select('uid, 'start_time,'end_time,'flow,
      expr("lag(end_time,1,start_time)") over(Window.partitionBy('uid).orderBy('start_time)) as 'lag_time
      //表达式expr中可以放入SQL的一个片段
    ).select('uid, 'start_time,'end_time,'flow,
      expr("if ((unix_timestamp(start_time)-unix_timestamp(lag_time))/60 > 10 ,1,0)") as 'num
    ).select('uid, 'start_time,'end_time,'flow,
      sum('num) over(Window.partitionBy('uid).orderBy('start_time)) as 'sum_num
    ).groupBy('uid,'sum_num).agg(
    min('start_time) as 'min_time,max('end_time) as 'max_time,sum('flow) as 'sum_flow
    ).select(
      'uid,'min_time,'max_time,'sum_flow
    ).show()
  }
}


+---+-------------------+-------------------+--------+
|uid|           min_time|           max_time|sum_flow|
+---+-------------------+-------------------+--------+
|  3|2020-02-18 14:39:58|2020-02-18 15:35:53|    50.0|
|  1|2020-02-18 14:20:30|2020-02-18 15:20:30|    50.0|
|  1|2020-02-18 15:37:23|2020-02-18 18:03:27|   150.0|
|  2|2020-02-18 14:18:24|2020-02-18 15:01:40|    20.0|
|  2|2020-02-18 15:20:49|2020-02-18 15:30:24|    30.0|
|  2|2020-02-18 16:01:23|2020-02-18 17:40:52|    90.0|
+---+-------------------+-------------------+--------+
普罗米修斯之火
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据入门spark3.0入门到精通Spark-day08.rar
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介： 本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优 。
spark—SQL实战案例
weixin_44604159的博客
10-05 3322
对sparkSQL的学习进行案例练习
SparkSql实现小案例——代码部分（一）
01-07
一、案例介绍 案例包含三个表：tbDate、tbStock、tbStockDetail。字段信息如下表： 二、要求 1、计算所有订单中每年的销售单数、销售总额 2、计算所有订单每年最大金额订单的销售额 3、计算所有订单中每年最畅销货品 三、代码 case class tbStock(ordernumber:String,locationid:String,dateid:String) extends Serializable case class tbStockDetail(ordernumber:String, rownum:Int, itemid:String, number:Int,
spark大数据案例
11-12
包含了Spark的一系列的小案例，包含core，sql，stream等案例
spark core、spark sql以及spark streaming 的Scala、java项目混合框架搭建以及大数据案例
09-10
包中构建了Java以及Scala混合框架的maven打包框架以及关于spark core，spark sql 、spark streaming的一些典型案例或者算子使用。
spark-SQL-案例(超级详细)
互联网知识分享
05-15 718
那map( content =>{...} ) 每次取出来的content是多个单词组成的，所以用索引来定位哪一个单词，而这个定位是外部索引的地位,（内部索引就现相当于定位字母了）、查询Score表中 至少有5名学生选修的 并且以 3 开头的课程 的平均分数，count(1)表示 count(cno)而下面的例子中 每次取出的content,就一个单词，如果在使用索引就相当于定位构成单词的字母是哪一个。以下两句都是错误的，因为子查询返回了3个平均值(3类课程)，导致两个表不能比较，
Spark SQL典型案例
最新发布
X_Serendipity的博客
06-15 1274
【代码】Spark SQL典型案例。
【Spark】Spark SQL基础使用详解和案例
weixin_46429290的博客
03-24 1581
Spark SQL是Apache Spark的一个模块，它提供了一种基于结构化数据的编程接口。Spark SQL支持结构化数据的处理，包括数据的读取、转换和查询。它可以将传统的基于表和SQL的操作和Spark的分布式计算相结合，提供强大的数据处理和分析能力。Spark SQL也可以与其他Spark组件集成，如MLlib和GraphX，以支持更广泛的数据处理场景。
Spark SQL商品订单案例
weixin_43629241的博客
05-25 2666
Spark SQL编程初级实践 1、编程实现以下功能。 （1）样例数据 样例数据说明：数据集是货品交易数据集。 每个订单可能包含多个货品，每个订单可以产生多次交易，不同的货品有不同的单价 （2）设计要求 1）加载数据 2）将加载的数据分别生成表 3）计算所有订单中每年的销售单数、销售总额 4）计算所有订单每年最大金额订单的销售额 5）计算所有订单中每年最畅销货品 （3）编程实现 先将三个文本数据转换成三个RDD,并清洗不符合条件的数据 val tbStockDetailRDD=sc.textFi
Spark SQL及实例
热门推荐
moledyzhang的博客
12-27 1万+
什么是Spark SQLSpark SQL是Apache Spark用于处理结构化数据的模块。Spark SQL允许使用SQL或熟悉的DataFrame API查询Spark程序内的结构化数据。Spark SQL支持多语言编程包括Java、Scala、Python和R，可以根据自身喜好进行选择。本文中所涉及的Spark SQL代码示例均使用python语言。Spark SQL的核心-DataFram
Spark分布式内存计算框架视频教程
10-21
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。 课程亮点 1，知识体系完备，阶段学习者都能学有所获。 2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。 5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章、Spark 基础环境 1.课程安排说明 2.Spark 框架概述 3.快速入门 4.Standalone集群及HA 5.Spark 应用开发入门 6.Spark 应用提交 7.Spark on YARN 8.应用部署模式DeployMode 第二章、SparkCore 模块 1.RDD 概念及特性 2.RDD 创建 3.RDD 函数及使用 4.RDD 持久化 5.案例：SogouQ日志分析 6.RDD Checkpoint 7.外部数据源（HBase和MySQL） 8.广播变量和累加器 9.Spark 内核调度 10.Spark 并行度 第三章、SparkSQL 模块 1.快速入门：词频统计 2.SparkSQL 概述 3.DataFrame 4.RDD与DataFrame转换 5.数据分析SQL和DSL 6.案例：电影评分数据分析 7.DataSet 8.外部数据源Exeternal DataSource 9.集成Hive 10.自定义函数UDF 11.分布式SQL引擎（spakr-sql和Spark ThriftServer） 12.Catalyst 优化器 第四章、离线综合实战 1.综合实战概述（需求、调研、业务） 2.环境搭建（大数据环境和应用开发环境） 3.项目初始化（工具类和属性文件） 4.广告数据ETL 5.Spark 分布式缓存 6.业务报表分析 7.应用执行部署 8.Oozie和Hue集成调度Spark 应用 第五章、SparkStreaming 模块 1.Streaming流式应用概述 2.Streaming 计算模式 3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例：百度搜索风云榜（实时ELT、窗口Window和状态State） 9.SparkStreaming Checkpoint 10.消费Kafka偏移量管理 第六章、StructuredStreaming模块 1.StructuredStreaming 概述（核心设计和编程模型） 2.入门案例：WordCount 3.输入源InputSources 4.Streaming Query 设置 5.输出终端OutputSink 6.集成Kafka（Source和Sink） 7.案例：物联网设备数据分析 8.事件时间窗口分析 9.Streaming Deduplication数据去重 10.Continues Processing连续流处理 第七章、实时综合实战 1.综合实战概述（需求、环境搭建和项目初始化） 2.模拟交易订单数据 3.数据实时ETL存储Kafka 4.实时应用停止 5.实时增量存储（存储HBase和Elasticsearch） 6.实时订单报表（Kafka-StructuredStreaming-Redis） 7.实时应用性能调优（数据本地性、反压机制、动态资源和日志管理）
基于Spark的电影数据集分析
06-24
该项目是大三下学期的课程设计，使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计报告和完整的代码。希望对你们有帮助。
spark sql基础与示例
郭芳的博客
05-31 1279
转自https://www.jianshu.com/p/a27f5f5f14e5；    https://blog.csdn.net/feloxx/article/details/72819964一、简介Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spar...
SparkSQL代码案例
yangshaojun1992的博客
04-03 2140
1、创建DataFrame的方式 package com.netcloud.bigdata.sparksql import java.util.Properties import org.apache.spark.sql.{SaveMode, SparkSession} /** * DataFrame的创建 * 从已经存在的RDD生成，从hive表、或者其他数据源（本地或者HDF...
sparkSQL案例(第三章)
qq_35482604的博客
01-27 3310
SparkSession #coding:utf8 from pyspark.sql import SparkSession if __name__ == '__main__': spark = SparkSession.builder.appName('create df').master('local[*]').getOrCreate() sc = spark.sparkContext df = spark.read.csv('hdfs://101.133.232.96:8.
Spark sql 简单示例
09-02 1814
都这个点了，很多同事还没有到公司，得那我就简单写个spark sql 的示例 回顾而知新，孔老子明智 package com.ib.e3 import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} /** * Created by xxxxoooo on
十五、Spark SQL案例分析
zlwm000的博客
06-17 358
创建Maven项目 - SparkSQLWordCount在pom.xml文件里添加依赖和构建插件 4.0.0 #### （四）修改源目录名称 将源目录名由java改成scala ![在这里插入图片描述](https://img-blog.csdnimg.cn/ef8d47f8d78a4c79b6c0fed3ef7ce411.png) 在pom.xml文件里，设置源目录 ![在这里插入图片描述](https://img-blog.csdnimg.cn/181621dbaaad49c6bb6eb86d67c
SparkSQL详解-实例
SOARING
04-20 878
sparkSQL主页：http://spark.apache.org/sql/ SparkSQL是用来处理结构化数据的一个Spark的模块，提供编程抽象叫DataFrame，进行分布式的SQL查询引擎的作用 和HIve的对比，hive是将sql解析成MapReduce提交到集群上进行执行，由于效率问题不及Spark，所以SparlSQL产生，它是转换成RDD然后提交到集群上运行，效率很高。...
配置文件获取方法
WuBoooo的博客
11-30 7628
private val config = ConfigFactory.load() lazy val cassConfig = config.getConfig("mysql") lazy val mysqlUrl = cassConfig.getString("mysql.url") lazy val username = cassConfig.getString("mysql.username") lazy val password = cassConfig.getString("m.
learning spark sql :目录
03-16
1. Spark SQL简介 2. Spark SQL基础 2.1 创建DataFrame 2.2 DataFrame操作 2.3 Spark SQL查询 ...6. Spark SQL案例分析 6.1 电商数据分析 6.2 金融数据分析 6.3 社交网络数据分析 7. Spark SQL未来展望

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值