【spark】spark列转行操作(json格式)

前言:一般我们列转行都是使用concat_ws函数或者concat函数,但是concat一般都是用于字符串的拼接,后续处理数据时并不方便。

需求:将两列数据按照设备id进行分组,每个设备有多个时间点位和对应值,将其一一对应,并以json形式存储。

设备id(device_name)点位值(point)

测量值(value)

key111.12
key121.32
key331.00

实现:

1、依旧需要对数据进行分组后聚合。由于有大量键值对,通过groupByKey进行分组

2、分组后得到(key, value[Iteratable])类型数据,对value进行转换后操作

import spark.implicits._

//定义数据源
val seq = Seq(
    ("key1","1","1.12"),
    ("key1","3","1.32"),
    ("key1","3","1.00")
).toDF("device","point","value")

//数据处理
seq.as[pointKey]
    .groupByKey(_.device)
    .mapGroups((key, value) => {
        val list = value.toList
        val map = new mutable.HashMap[String, String]()
        list.foreach(elem => map.put(elem.point, elem.value))

        //此时的数据格式为map格式
        //map转json
        implicit val formats: DefaultFormats.type = DefaultFormats
        val json = Serialization.write(map)
        (key, map, json)
    })



//样例类,用于装载
case class pointKey(
    device: String, point: String, value: String
)

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值