sparkSQL中对每行数据的某几个字段做MD5加密
需求: 有一张很大的表,需要对每一行数据的某几列(a, b, c, d)特定字段值做MD5加密,并将加密字段重新命名,放在每行数据的后面。实现:具体代码val result: DataFrame = spark.sql(s"select a, b, c, d, md5(concat_ws('|', a, b, c, d)) as hash_code from temp_table")result.printSchema()result.show()函数解释 concat_ws(’|
原创
2021-08-05 14:48:46 ·
1500 阅读 ·
0 评论