python爬虫系列: 数据存储(一)

大部分来源: python3:网络爬虫开发实战(第2版)

简要记录以下几种方式: json, csv, postgresql, mongodb, redis

---

一: json文件存储

字符串转json:       json.loads(str)

(注意python里的布尔值为True和False)

字符串里json的字符串不能用单引号

data='''{"name":"TOR","age":12}''' #里面的字符串不能用单引号
json_data=json.loads(data)

json文件内容转json:    json.load( open(filename, encoding= ) )

json_data=json.load(open('test.json',encoding='utf-8'))

json对象转文件(先用json.dumps()):       file.write( json.dumps(json_data) )

data='''{"name":"TOR","age":12}''' #里面的字符串不能用单引号
json_data=json.loads(data)
with open('data.json','w',encoding='utf-8')as file:
    file.write(json.dumps(data,indent=2))    #缩进更美观

或    json.dump(json_data,open(filename,'w',encoding='utf-8'))

json.dump(json_data,open('data.json','w',encoding='utf-8'))

二: csv

写入到csv文件    writer=csv.writer(file,delimiter=',')          writer.writerow([])

delimiter为分隔符,只能为1字符,可以为换行符(\n) <