Python爬虫之一：Json、CSV 及 Excel 数据处理

一、Json 数据处理

JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

简单概括：Json 将数据转换成字符串，用于储存或网络传输。

Json 数据在线解析网站： https://www.json.cn/

1、Python 对象转换为 Json 字符串

1.dumps(a)：把指定对象a转换成json格式的字符串

import json

dic = {
   'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

str_json1 = json.dumps(dic)
print(str_json1)
#{"k1": "v1", "k2": "v2", "k3": "v3"}

2.dump(a,b)：把指定对象a转换成json格式字符串，并写入对应文件

import json

dic = {
   'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

with open('demo.csv', 'w', encoding='utf-8') as f:
    str_json2 = json.dump(dic, f)

知识点：Json 将python对象转换成了字符串，转换后的对象必须是双引号。

2、Json 字符串转换为 Python 对象

1.loads(a)：把指定对象a转换成Python格式的数据类型

import json

dic = {
   'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

str_json1 = json.dumps(dic)
dic = json.loads(str_json1)
print(type(dic)) # <class 'dict'>
print(dic) # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

2.loads(a,b)：从b句柄对应的文件读出json格式的字符串转换成Python对象

import json

with open('demo.csv', 'r', encoding='utf-8') as f:
    dic = json.load(f)
    print(type(dic)) #<class 'dict'>
    print(dic) # {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

二、CSV 数据处理

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。通常都是纯文本文件。建议使用WORDPAD或是记事本来开启，再则先另存新档后用EXCEL开启，也是方法之一。

1、读取数据

1、reader(f) ：从文件句柄 f 中读取csv数据，并返回一个迭代器对象。

import csv

with open('demo.csv', 'r', encoding='utf-8') as f:
    reader = csv.