python小白

python小白

那些让清洗数据的函数

字符串string转list或者dict

list或者dict形式的文本数据转成list或者dict

s = "[1,2,3,4]"
s = eval(s)# 得到[1,2,3,4]

整体加载、写入json、pickle文件

加载 data.json

import json
with open('data.json','r') as f:
	data = json.load(f)

将data写入 data.json

with open('data.json','w') as f:
	json.dump(data,f)

pickle一样

按行读取json

如果json文件是按行存储的，而不是整体一个dict或者list

with open('data.json','r') as f:
	for line in f.readlines():
		data = json.loads(line) # 加载当前行的文件

或者pandas读取

import pandas as pd
pd.read_json('data.json',encoding='utf-8',lines=True)