【廖雪峰】python爬虫-------学习记录day08（数据存储）

数据存储

1、json

import json

# 1.字符串和 dic list转换

# 字符串(必须是标准的json字符串)----dict list
data = '[{"name":"张三","age":20},{"name":"李四","age":18}]'
list_data = json.loads(data)

# dict list ---字符串
list2 = [{"name": "张三", "age": 20}, {"name": "李四", "age": 18}]
data_json = json.dumps(list2)

print(type(data_json))

# 2.文件对象  和 dict list转换

# dict list  写入文件
list2 = [{"name": "张三", "age": 20}, {"name": "李四", "age": 18}]
# fp 是 file path
fp = open('02new.json', 'w')
json.dump(list2, fp)
fp.close()


# 读取文件json -----list dict
resulst = json.load(open('02new.json', 'r'))

print(resulst)

2、csv

import json
import csv

# 需求 json 中的数据 转换  成 csv文件


# 1.分别 读 , 创建文件
json_fp = open('02new.json', 'r')
csv_fp = open('03csv.csv', 'w')

# 2.提出 表头 , 表内容
data_list = json.load(json_fp)

sheet_title = data_list[0].keys()
print(sheet_title)


sheet_data = []
for data in data_list:
    sheet_data.append(data.values())

# 3. csv 写入器
writer = csv.writer(csv_fp)

# 4. 写入表头
writer.writerow(sheet_title)
# 5. 写入内容
writer.writerows(sheet_data)

# 6. 关闭两个文件
json_fp.close()
csv_fp.close()