用python处理csv文件包含json格式字段

用python处理csv文件包含json格式字段

问题描述

最近在处理csv文件数据的时候遇到一个问题，csv文件中居然包含了json字符串，格式大致如下所示

id,data
1,"[{'a': 1,'b': 2},{'a': 2,'b': 3}]"
2,"[{'a': 3,'b': 4},{'a': 4,'b': 5}]"

解决方案

解决方案一

利用python的eval()指令将字符串转成数组，然后就可以操作数据了

import pandas as pd

data = pd.read_csv('data.csv')
data['data'] = data.apply(lambda x:eval(x['data']),axis=1) # eval 将str转list
.... # 之后就不用多说了吧

解决方案二

利用demjson模块，解析json字符串，pip install demjson

import pandas as pd
import json
import demjson

data = pd.read_csv('data.csv')
data['data'] = data.apply(lambda x:demjson.decode(x['data']),axis=1) # 和eval类似
....... 

解决方案三

利用python的json模块，json数据的引号格式必须为双引号，不然解析会报错
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes

import pandas as pd
import json

data = pd.read_csv('data.csv')
data['data'] = data.apply(lambda x: json.loads(x['data'].replace('\'','"')),axis=1)
......