pandas 保存为txt去掉引号_Spark保存的时候怎么去掉多余的引号转义

本文介绍了在使用SparkSQL保存JSON数据时遇到的引号转义问题,以及如何通过设置`option('escapeQuotes', False)`来避免引号被转义,确保数据的正确处理。同时提到使用RDD保存数据时不会遇到相同问题。" 113405561,10197174,图的邻接矩阵表示法及操作,"['数据结构', '图论', '有向图', 'C++', '邻接矩阵']
摘要由CSDN通过智能技术生成

今天用SparkSQL保存一份json数据的时候,引号被转义了,并用括号包起来了,导致下游新来的小伙伴无法处理这份数据。

1a2ab1d74d01aa94ac3dff016b4b8cac.png

保存后的数据长这样(用分割):

data    "{"key": "impl", "version": "1.0"}"

于是乎一番查找Spark文档,尝试添加这个选项之后,option('escapeQuotes', False),关闭引号转义,如此引号就不会被转义,结果如下:

data    {"key": "impl", "version": "1.0"}

同样尝试了用RDD去保存,也不会出现双引号被转义的问题,只是用SparkSQL或者DataFrame的时候才会出现被双引号被转义的情况。

PySpark代码如下,spark公共变量请大佬们自己创建:

# encoding = utf-8import jsonfrom utils import *def t1():    """    spark和sc变量放在utils文件里面    :return:    ""&
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值