SparkSQL实现行转列与列转行

最新推荐文章于 2024-07-23 15:38:58 发布

我在北国不背锅

最新推荐文章于 2024-07-23 15:38:58 发布

阅读量8k

点赞数 5

分类专栏： Spark 文章标签： SparkSQL

本文链接：https://blog.csdn.net/weixin_44455388/article/details/100978048

版权

Spark 专栏收录该内容

40 篇文章 4 订阅

订阅专栏

例如目前有一张表dlzz:
TG_ID表示变压器台区ID，DATA_DATE表示时间，I1、I2和I3分别表示三个不同时间点的电流值
在这里插入图片描述
SparkSQL实现列转行

	val frame: DataFrame = spark.read.format("jdbc")
                            .option("url", "jdbc:mysql://localhost:3306/test11")
                            .option("dbtable", "dlzz")
                            .option("user", "root")
                            .option("password", "123")
                            .load()
    frame.createTempView("frame")


    val result = spark.sql(
      """
        |select TG_ID,DATA_DATE,'I1' as DL,I1 as num from frame union all
        |select TG_ID,DATA_DATE,'I2' as DL,I2 as num from frame union all
        |select TG_ID,DATA_DATE,'I3' as DL,I3 as num from frame
      """.stripMargin)

    result.show()

结果展示:
在这里插入图片描述
SparkSQL实现行转列
现有表dlzz_copy如下:
TG_ID代表的是变压器的台区ID,DATA_DATE表示日期,DY表示时间点,num代表电压值
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019091813005143.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ1NTM4OA==,size_16,color_FFFFFF,t_70

    val frame: DataFrame = spark.read.format("jdbc")
                            .option("url", "jdbc:mysql://localhost:3306/test11")
                            .option("dbtable", "dlzz_copy")
                            .option("user", "root")
                            .option("password", "123")
                            .load()
    frame.createTempView("frame")

    frame.groupBy("TG_ID","DATA_DATE").pivot("DY").sum("num").show()

结果展示:
在这里插入图片描述