sparkSQL行转列，列转行

在用spark进行数据处理过程中，避免不了行转列和列传行的操作，特此记录：

1.列传行：这里举的例子是certificate_id  ,telephone_number 每个身份证号可能对应多个手机号码

df.createTempView("tmp")    

val result = sparkSession.sql(
      """
        | select certificate_id,concat_ws(",",collect_set(telephone_num)) as             
        |  telephone_num
        |   from tmp
        |  group by certificate_id
        |""".stripMargin)

这里是把同一个身份证号对应的多条电话号码记录转为一条，电话号码用逗号分隔

 

2.行转列

    //一条数据有多个电话号码转换成多行记录
    val row2columnStr =
      """
        |select * from temp_view
        |lateral view explode(split(telephone_num, ',')) tmpTable as temp_view_new
      """.stripMargin

这里是把telephone_num字段中有多个用逗号分隔的号码分割，转成多条记录