在用spark进行数据处理过程中,避免不了行转列和列传行的操作,特此记录:
1.列传行:这里举的例子是certificate_id ,telephone_number 每个身份证号可能对应多个手机号码
df.createTempView("tmp")
val result = sparkSession.sql(
"""
| select certificate_id,concat_ws(",",collect_set(telephone_num)) as
| telephone_num
| from tmp
| group by certificate_id
|""".stripMargin)
这里是把同一个身份证号对应的多条电话号码记录转为一条,电话号码用逗号分隔
2.行转列
//一条数据有多个电话号码转换成多行记录
val row2columnStr =
"""
|select * from temp_view
|lateral view explode(split(telephone_num, ',')) tmpTable as temp_view_new
""".stripMargin
这里是把telephone_num字段中有多个用逗号分隔的号码分割,转成多条记录