pyspark null类型在 json.dumps(null) 之后，会变为字符串‘null‘

小何才露尖尖角

已于 2023-04-25 14:10:16 修改

阅读量446

点赞数

分类专栏： Hive Spark 文章标签： json hive 大数据 null 字符串 null

于 2023-04-06 11:16:35 首次发布

本文链接：https://blog.csdn.net/weixin_40994552/article/details/129984727

版权

Hive 同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

Spark

5 篇文章 0 订阅

订阅专栏

文章讲述了在从Hive数仓迁移数据到MySQL时，如何处理null值。当使用to_json函数时，null值会被转换为null字符串。为解决此问题，建议在应用to_json之前，通过if条件判断，使null值保持不变，其他非null值再转换为json字符串。

摘要由CSDN通过智能技术生成

在将 hive 数仓数据写入 MySQL 时候，有时我们需将数据转为 json 字符串，然后再存入 MySQL。但 hive 数仓中的 null 类型遇到 json 函数之后会变为 ‘null’ 字符串，这时我们只需在使用 json 函数之前对值进行判断即可，当值为 null 时，直接返回 null, 当值非null 时，则使用 json 函数

1 正常情况

在 pyspark 中执行如下代码

mysql_result_df= spark.sql("""
	SELECT
	    user_id,
	    null as active_points,
	    '20230405'  as ymd
	FROM tmp.tmp_user"""
export_data_mysql(mysql_result_df)

在这里插入图片描述
将 history_loc_df 数据存入 MySQL，null 数据会为空，如下所示

2 null 类型变为 ‘null’ 字符串

使用 to_json 函数之后，null 类型会变为 ‘null’ 字符串

def to_json(info):
    return json.dumps(info)
    
# udf 注册: 转为 json
spark.udf.register("to_json", to_json, StringType())

history_loc_df = spark.sql("""
	SELECT
	    user_id,
	    to_json(null) as active_points,
	    '20230405'  as ymd
	FROM tmp.tmp_user"""

export_data_mysql(mysql_result_df)

这时将 history_loc_df 数据存入 MySQL，null 数据会变为字符串，如下所示
在这里插入图片描述

3 在 to_json 之前判断是否为空

若想使用 to_json 函数，当遇到 null 值，返回 null 类型，遇到其它值则转为 json 字符串

只需要在转为 json 字符串之前对值进行判断即可

def to_json(info):
    return json.dumps(info)
    
# udf 注册: 转为 json
spark.udf.register("to_json", to_json, StringType())

mysql_result_df= spark.sql("""
	SELECT
	    user_id,
	    if(active_points is null, null, to_json(null)) as active_points,
	    '20230405'  as ymd
	FROM tmp.tmp_user"""
export_data_mysql(mysql_result_df)