爬虫搞到的JSON数据如何保存到CSV文件？

JSON格式的数据保存为CSV文件

如何保存？

我们知道JSON格式的数据大概长这样：

[{key1:value1, key2:value2, key2:value3},{key1:value1, ...},{key1:value1, ...},...]

csv文件保存的函数为f.writerow(),该函数需要的参数为一个列表，这个列表中的数据就是JSON格式中一个map的所有的value，然后每个map转化为一个列表，大概每个列表长这样。

# 单个列表
[value1, value2, value3]

然后为了方便，我们将所有的这样的列表都嵌套到一个列表中，这样保存的时候直接遍历这个列表保存。

# 多个列表
[[value1, value2, value3],
 [value1, value2, value3],
 [value1, value2, value3]]
 

一、首先我们需要创建一个JSON格式的数据

Code 1：

# pprint是一个可以格式化输出JSON格式的数据的文件，这样方便我们看出数据的格式
import pprint
# 初始化一个列表用于存放数据
json_list = []
for i in range(10):
	# 将每个map都放入列表中
    json_list.append({'name': 'name' + str(i), 'age':  str(i), 'phone_num': i})
# 格式化打印输出
pprint.pprint(json_list)

Out 1:

# 可以看出列表中存放了10个字典，每个字典的格式相同。
# 符合上面的JSON格式

[{1: 'name0', 'age': '0', 'phone_num': 0},
 {1: 'name1', 'age': '1', 'phone_num': 1},
 {1: 'name2', 'age': '2', 'phone_num': 2},
 {1: 'name3', 'age': '3', 'phone_num': 3},
 {1: 'name4', 'age': '4', 'phone_num': 4},
 {1: 'name5', 'age': '5', 'phone_num': 5},
 {1: 'name6', 'age': '6', 'phone_num': 6},
 {1: 'name7', 'age': '7', 'phone_num': 7},
 {1: 'name8', 'age': '8', 'phone_num': 8},
 {1: 'name9', 'age': '9', 'phone_num': 9}]
 

二、获取map的keys 并将数据转换为嵌套列表

为了方便保存的时候方便进行索引，于是先获取json内map的key值。

Code 2:

# map.keys()函数可以获得一个map的所有key值，并放回一个列表，但是需要list类型转换
keys = list(json_list[0].keys())
# 这里输出类型转换前的类型和样子 供参考
print(json_list[0].keys(), type(json_list[0].keys()))
print(keys, type(keys))

可以看出 类型转换前和转换后的类型是不同的

Out 2:

dict_keys(['name', 'age', 'phone_num']) <class 'dict_keys'>
['name', 'age', 'phone_num'] <class 'list'>

将数据转换为嵌套列表

Code 3:

list_json_data = []

for i in range(10):
	list_json_data.append([json_list[i][x] for x in keys])
	# 上面一行的代码等于 ：
	# 1、
	# list_json_data.append([json_list[i][keys[0]], json_list[i][keys[1]], json_list[i][keys[2]]])
	# 2、
	# tmpList = []
    # for x in keys:
    #     tmpList.append(json_list[i][x])
    # list_json_data.append(tmpList)
    
print(list_json_data)
    

Out 3:

[['name0', '0', 0], ['name1', '1', 1], ['name2', '2', 2], ['name3', '3', 3], ['name4', '4', 4], ['name5', '5', 5], ['name6', '6', 6], ['name7', '7', 7], ['name8', '8', 8], ['name9', '9', 9]]

三、保存为CSV文件

这里打开一个data.csv文件，由于是使用了’w’（write），如果是读请使用’r’(read)，如果是需要一直添加请使用’a’(add)，因此不用担心会报没有该文件的错，它会自动生成，这里的编码格式选择了utf-8-sig，也可以写utf-8，但是有时候会出现乱码问题，这里的newline=’'是为了防止出现空行的出现。

Code 4:

with open('data.csv','w',encoding='utf-8-sig',newline='') as f:
	# 初始化 csv writer 对象
    f = csv.writer(f)
    # 遍历json数据列表并保存每个列表
    for list_data in list_json_data:
        f.writerow(list_data)

保存成功！

四、完整代码 json2csv

import csv
import pprint

''' json format
    [{key:value, key:value, key:value},{key:value, ...},{key:value, ...},...]
'''
json_list = []

for i in range(10):
    json_list.append({'name': 'name' + str(i), 'age':  str(i), 'phone_num': i})
pprint.pprint(json_list)

keys = list(json_list[0].keys())
print(json_list[0].keys(), type(json_list[0].keys()))
print(keys, type(keys))

list_json_data = []

for i in range(10):
    # [json_list[i][x] for x in keys]
    list_json_data.append([json_list[i][x] for x in keys])
    # tmpList = []
    # for x in keys:
    #     tmpList.append(json_list[i][x])
    # list_json_data.append(tmpList)
    # list_json_data.append([json_list[i][keys[0]], json_list[i][keys[1]], json_list[i][keys[2]]])

print(list_json_data)

with open('data.csv','w',encoding='utf-8',newline='') as f:
    f = csv.writer(f)
    for list_data in list_json_data:
        f.writerow(list_data)

CSV文件读取为JSON格式的数据

既然我们知道如何从JSON到CSV了，那么CSV到JSON就是倒过来做一遍喽~

一、读取数据

Code 5:

import csv
with open('data.csv','r',encoding='utf-8') as f:
	# 这里将csv.reader()迭代器强制转换为list格式
    list_data = list(csv.reader(f))
	print(csv.reader(f))
	print(list_data)

虽然 格式看不太懂 但是是可遍历的数据类型
Out 4:

<_csv.reader object at 0x0000027BE0426C40>
[['name0', '0', '0'], ['name1', '1', '1'], ['name2', '2', '2'], ['name3', '3', '3'], ['name4', '4', '4'], ['name5', '5', '5'], ['name6', '6', '6'], ['name7', '7', '7'], ['name8', '8', '8'], ['name9', '9', '9']]

将数据存入JSON

Code 6:

# 初始化 keys 列表
keys = ['name', 'age', 'phone_num']
# 初始化JSON列表
json_data = []
# 遍历嵌套列表数据
for data in list_data:
	#将每个keys和嵌套列表中的列表结合为key和value
    json_data.append({keys[x]: data[x] for x in range(3)})
	# 等同于：
	# tmpMap = {}
    # for x in range(3):
    #     tmpMap[keys[x]] = data[x]
    # json_data.append(tmpMap)
pprint.pprint(json_data)

可以看看是不是和之前一样 嘿嘿嘿

Out 5:

[{'age': '0', 'name': 'name0', 'phone_num': '0'},
 {'age': '1', 'name': 'name1', 'phone_num': '1'},
 {'age': '2', 'name': 'name2', 'phone_num': '2'},
 {'age': '3', 'name': 'name3', 'phone_num': '3'},
 {'age': '4', 'name': 'name4', 'phone_num': '4'},
 {'age': '5', 'name': 'name5', 'phone_num': '5'},
 {'age': '6', 'name': 'name6', 'phone_num': '6'},
 {'age': '7', 'name': 'name7', 'phone_num': '7'},
 {'age': '8', 'name': 'name8', 'phone_num': '8'},
 {'age': '9', 'name': 'name9', 'phone_num': '9'}]
 

完整代码 csv2json

import csv
import pprint

with open('data.csv', 'r', encoding='utf-8') as f:
    # 这里将csv.reader()迭代器强制转换为list格式
    print(csv.reader(f))
    list_data = list(csv.reader(f))

print(list_data)

keys = ['name', 'age', 'phone_num']

json_data = []
for data in list_data:
    json_data.append({keys[x]: data[x] for x in range(3)})
    # tmpMap = {}
    # for x in range(3):
    #     tmpMap[keys[x]] = data[x]
    # json_data.append(tmpMap)
pprint.pprint(json_data)

千金难买少光阴 望珍惜