【python 让繁琐工作自动化】第16章处理 CSV 文件和 JSON 数据

本文链接：https://blog.csdn.net/HPP_CSDN/article/details/108118193

Automate the Boring Stuff with Python: Practical Programming for Total Beginners (2nd Edition)
Copyright © 2020 by Al Sweigart.

CSV 和 JSON 文件都是纯文本文件。

CSV (Comma-Separated Values)：逗号分隔的值。而 CSV 文件是简化的电子表格，存储为纯文本文件。
Python 的 csv 模块可解析 CSV 文件。csv 模块是 Python 自带的。
JSON (JavaScript Object Notation)：JavaScript 对象表示法。JSON 文本格式在语法上与创建 JavaScript 对象的代码相同。
发音为“JAY-sawn”或“Jason”。
JSON 格式很有用，因为它已在许多 Web 应用程序中使用。使用 JSON 文件不需要懂得 JavaScript 编程语言。
Python 的 json 模块可以解析 JSO文件。

csv 模块

CSV 文件中的每一行代表电子表格中的一行，并用逗号分隔该行中的单元格。

CSV 文件缺少 Excel 电子表格的许多功能。

CSV 文件的优点是简单。它可以在文本编辑器中查看，是表示电子表格数据的直接方法。许多程序类型都支持 CSV 文件。CSV 格式正如它所展现的那样：它只是一个以逗号分隔的值的文本文件。

由于 CSV 文件只是文本文件，可能会有人使用在第9章中学到的技术来处理该文件。比如，在文本的每一行上调用 split(',')，以逗号分隔的值作为字符串列表。
但是，并非 CSV 文件中的每个逗号都代表两个单元格之间的边界。CSV 文件还具有其自己的转义字符集，以允许逗号和其他字符作为值的一部分包括在内。
因此应使用 csv 模块读取和写入 CSV 文件。

reader 对象

example.csv 文件内容如下：

4/5/2015 13:34,Apples,73
4/5/2015 3:41,Cherries,85
4/6/2015 12:46,Pears,14
4/8/2015 8:59,Oranges,52

>>> import csv
>>> exampleFile = open('example.csv')
>>> exampleReader = csv.reader(exampleFile)	# 创建一个 reader 对象
>>> exampleData = list(exampleReader)
>>> exampleData
[['4/5/2015 13:34', 'Apples', '73'], ['4/5/2015 3:41', 'Cherries', '85'], ['4/6/2015 12:46', 'Pears', '14'], ['4/8/2015 8:59', 'Oranges', '52']]
>>> exampleData[0][0]
'4/5/2015 13:34'
>>> exampleData[1][1]
'Cherries'

将 File 对象传递给 csv.reader() 函数，返回一个可供使用的 reader 对象。
使用 list() 将 CSV 文件的内容转换为列表，就可以使用 exampleData[row][col] 来访问指定行和列中的值：

在 for 循环中从 reader 对象读取数据

对于大型CSV文件，可以在 for 循环中使用 reader 对象。这样可以避免将整个文件立即加载到内存中。

>>> import csv
>>> exampleFile = open('example.csv')
>>> exampleReader = csv.reader(exampleFile)
>>> for row in exampleReader:
        print('Row ' + str(exampleReader.line_num) + ' ' + str(row))

Row 1 ['4/5/2015 13:34', 'Apples', '73']
Row 2 ['4/5/2015 3:41', 'Cherries', '85']
Row 3 ['4/6/2015 12:46', 'Pears', '14']
Row 4 ['4/8/2015 8:59', 'Oranges', '52']

可以使用 reader 对象的 line_num 变量获取当前行的编号。

reader 对象只能循环一次。要重新读取CSV文件，必须调用 csv.reader() 创建一个 reader 对象。

writer 对象

>>> import csv
>>> outputFile = open('output.csv', 'w', newline='')
>>> outputWriter = csv.writer(outputFile)
>>> outputWriter.writerow(['spam', 'eggs', 'bacon', 'ham'])
21
>>> outputWriter.writerow(['Hello, world!', 'eggs', 'bacon', 'ham'])
32
>>> outputWriter.writerow([1, 2, 3.141592, 4])
16
>>> outputFile.close()

将 File 对象传递给 csv.writer() 返回一个 writer 对象。
在 Windows 上，还需要为 open() 函数的 newline 关键字参数传递一个空字符串。如果忘记设置 newline 实参，则 output.csv 中的行将以双倍行距显示。

writer 对象的 writerow() 方法接受一个列表实参。列表中的每个值都放置在输出CSV文件的单元格中。writerow() 的返回值是该行写入文件的字符数（包括换行符）。

这段代码生成一个output.csv文件，如下所示：

spam,eggs,bacon,ham
"Hello, world!",eggs,bacon,ham
1,2,3.141592,4

注意，writer 对象自动在CSV文件中使用双引号对值 “Hello, world!” 中的逗号进行转义。

delimiter 和 lineterminator 关键字参数

下面的程序使用制表符而不是逗号来分隔单元格，并且将行以双倍行距隔开：

>>> import csv
>>> csvFile = open('example.tsv', 'w', newline='')
>>> csvWriter = csv.writer(csvFile, delimiter='\t', lineterminator='\n\n')
>>> csvWriter.writerow(['apples', 'oranges', 'grapes'])
24
>>> csvWriter.writerow(['eggs', 'bacon', 'ham'])
17
>>> csvFile.close()

定界符（delimiter）是出现在一行单元格之间的字符。默认情况下，CSV文件的定界符是逗号。
行终止符（line terminator）是一行结尾处的字符。默认情况下，行终止符是换行符。

上面的程序生成一个名为 example.tsv 的文件，单元格由制表符分隔。文件扩展名 .tsv 用于制表符分隔的值（Tab-Separated Values）。

DictReader 和 DictWriter 对象

对于包含标题行的CSV文件，使用 DictReader 和 DictWriter 对象通常更方便。
reader 和 writer 对象通过使用列表读取和写入CSV文件行。DictReader 和 DictWriter 对象执行相同的功能，但改用字典，它们使用CSV文件的第一行作为这些字典的键。

exampleWithHeader.csv 文件内容如下：

Timestamp,Fruit,Quantity
4/5/2015 13:34,Apples,73
4/5/2015 3:41,Cherries,85
4/6/2015 12:46,Pears,14
4/8/2015 8:59,Oranges,52

>>> import csv
>>> exampleFile = open('exampleWithHeader.csv')
>>> exampleDictReader = csv.DictReader(exampleFile)
>>> for row in exampleDictReader:
...     print(row['Timestamp'], row['Fruit'], row['Quantity'])
...
4/5/2015 13:34 Apples 73
4/5/2015 3:41 Cherries 85
4/6/2015 12:46 Pears 14
4/8/2015 8:59 Oranges 52

使用 DictReader 对象不需要其他代码来跳过第一行的标题信息，DictReader 对象可以完成此操作。

如果尝试将 DictReader 对象与 example.csv 一起使用，则 DictReader 对象将使用 '4/5/2015 13:34'，'Apples' 和 '73' 作为字典的键。为了避免这种情况，可以为 DictReader() 函数提供第二个参数，该参数包含虚构的标题名称：

>>> import csv
>>> exampleFile = open('example.csv')
>>> exampleDictReader = csv.DictReader(exampleFile, ['time', 'name', 'amount'])
>>> for row in exampleDictReader:
...     print(row['time'], row['name'], row['amount'])
...
4/5/2015 13:34 Apples 73
4/5/2015 3:41 Cherries 85
4/6/2015 12:46 Pears 14
4/8/2015 8:59 Oranges 52

DictWriter 对象使用字典创建CSV文件。

>>> import csv
>>> outputFile = open('output.csv', 'w', newline='')
>>> outputDictWriter = csv.DictWriter(outputFile, ['Name', 'Pet', 'Phone'])
>>> outputDictWriter.writeheader() # 写入标题行
>>> outputDictWriter.writerow({'Name': 'Alice', 'Pet': 'cat', 'Phone': '555-1234'})
20
>>> outputDictWriter.writerow({'Name': 'Bob', 'Phone': '555-9999'})
15
>>> outputDictWriter.writerow({'Phone': '555-5555', 'Name': 'Carol', 'Pet': 'dog'})
20
>>> outputFile.close()

如果希望文件包含标题行，可通过调用 writeheader() 将该行写入。

此代码创建的 output.csv 文件如下所示：

Name,Pet,Phone
Alice,cat,555-1234
Bob,,555-9999
Carol,dog,555-5555

注意：

传递给 writerow() 的字典中的键值对的顺序无关紧要：它们是按赋予 DictWriter() 的键的顺序进行写入的。
所有丢失的键在CSV文件中都将为空。比如 {'Name'：'Bob'，'Phone'：'555-9999'} 中的 'Pet'。

项目：从CSV文件中删除标题

实现功能：该程序将需要在当前工作目录中打开每个扩展名为.csv的文件，读取CSV文件的内容，并将内容（不包括第一行）重写为同名文件。

警告：每当编写修改文件的程序时，请确保首先备份文件，以防万一程序无法按预期运行，意外删除原始文件。

程序必须执行以下操作：

在当前工作目录中找到所有CSV文件。
读入每个文件的全部内容。
将内容（跳过第一行）写到新的CSV文件中。

在代码级别，这意味着程序将需要执行以下操作：

从 os.listdir() 循环遍历文件列表，跳过非CSV文件。
创建一个CSV reader 对象读取文件的内容，并使用 line_num 属性确定要跳过的行。
创建一个CSV writer 对象，并将读入的数据写到新文件中。

#! python3
# removeCsvHeader.py - Removes the header from all CSV files in the current working directory.

import csv, os

os.makedirs('headerRemoved', exist_ok=True)

# Loop through every file in the current working directory.
for csvFilename in os.listdir('.'):
	if not csvFilename.endswith('.csv'):
		continue    # skip non-csv files
		
	print('Removing header from ' + csvFilename + '...')
	
	# Read the CSV file in (skipping first row).
	csvRows = []
	csvFileObj = open(csvFilename)
	readerObj = csv.reader(csvFileObj)
	for row in readerObj:
		if readerObj.line_num == 1:
			continue    # skip first row
		csvRows.append(row)
	csvFileObj.close()
	
	# Write out the CSV file.
	csvFileObj = open(os.path.join('headerRemoved', csvFilename), 'w', newline='')
	csvWriter = csv.writer(csvFileObj)
	for row in csvRows:
		csvWriter.writerow(row)
	csvFileObj.close()

JSON 和 API

JSON 是一种将数据格式化为人类可读字符串的流行方式。

这是一个格式为JSON的数据示例：

{"name": "Zophie", "isCat": true,
 "miceCaught": 0, "napsTaken": 37.5,
 "felineIQ": null}

JSON非常有用，因为许多网站都提供JSON内容作为程序与网站进行交互的方式。这被称为提供应用程序编程接口（API: Application Programming Interface）。
访问API与通过URL访问任何其他网页相同。不同之处在于，API返回的数据是针对计算机格式化的（例如，使用JSON）；API对于人们来说不易阅读。

许多网站都以JSON格式提供其数据。Google等许多流行网站都提供 API 以供程序使用。你需要找到相关文档，了解程序需要请求哪些URL才能获取所需的数据，以及返回的JSON数据结构的常规格式。该文档应由提供API的任何网站提供；如果他们有“开发人员”页面，请在此处查找文档。

可以在 https://nostarch.com/automatestuff2/ 的资源中看到JSON API的一些示例。

json 模块

Python 中的 json 模块可以处理带有JSON数据的字符串和Python值之间转换的细节。
JSON不能存储每种Python值。它只能包含以下数据类型的值：字符串，整数，浮点数，布尔值，列表，字典和 NoneType。

使用 load() 函数读取JSON

函数名 loads 意思是 load string。

>>> stringOfJsonData = '{"name": "Zophie", "isCat": true, "miceCaught": 0, "felineIQ": null}'
>>> import json
>>> jsonDataAsPythonValue = json.loads(stringOfJsonData)
>>> jsonDataAsPythonValue
{'isCat': True, 'miceCaught': 0, 'name': 'Zophie', 'felineIQ': None}

注意，JSON字符串始终使用双引号。

使用 dumps() 函数编写JSON

函数名 dumps 意思是 dump string。

>>> pythonValue = {'isCat': True, 'miceCaught': 0, 'name': 'Zophie', 'felineIQ': None}
>>> import json
>>> stringOfJsonData = json.dumps(pythonValue)
>>> stringOfJsonData
'{"isCat": true, "felineIQ": null, "miceCaught": 0, "name": "Zophie" }'

项目：获取当前天气数据

实现功能：下载接下来几天的天气预报并将其打印为纯文本，查询天气。该程序使用第12章中的 requests 模块从Web下载数据。

该程序执行以下操作：

从命令行读取请求的位置。
从 OpenWeatherMap.org 下载JSON天气数据。
将 JSON 数据的字符串转换为 Python 数据结构。
打印今天和接下来两天的天气。

因此，代码需要执行以下操作：

在 sys.argv 中加入字符串以获取位置。
调用 request.get() 以下载天气数据。
调用 json.loads() 将JSON数据转换为Python数据结构。
打印天气预报。

在浏览器中访问 https://openweathermap.org/api/ 并注册一个免费帐户以获取API密钥（也称为应用程序ID），对于 OpenWeatherMap 服务，该密钥是一个类似于 '30144aba38018987d84710d0e319281e" 的字符串代码。对API密钥保密；任何知道它的人都可以编写脚本使用你帐户的使用配额。

OpenWeatherMap 服务要求查询的格式设置为：城市名称，逗号和两个字母的国家/地区代码（例如美国的 “US”）。可以在 https://en.wikipedia.org/wiki/ISO_3166-1_alpha-2 中找到这些代码的列表。

#! python3
# getOpenWeather.py - Prints the weather for a location from the command line.

APPID = 'YOUR_APPID_HERE'

import json, requests, sys

# Compute location from command line arguments.
if len(sys.argv) < 2:
	print('Usage: getOpenWeather.py city_name, 2-letter_country_code')
	sys.exit()
location = ' '.join(sys.argv[1:])

# Download the JSON data from OpenWeatherMap.org's API.
url ='https://api.openweathermap.org/data/2.5/forecast/daily?q=%s&cnt=3&APPID=%s ' % (location, APPID)
response = requests.get(url)
response.raise_for_status()	# check for errors

# Uncomment to see the raw JSON text:
#print(response.text)  

# Load JSON data into a Python variable.
weatherData = json.loads(response.text)

# Print weather descriptions.
w = weatherData['list']
print('Current weather in %s:' % (location))
print(w[0]['weather'][0]['main'], '-', w[0]['weather'][0]['description'])
print()
print('Tomorrow:')
print(w[1]['weather'][0]['main'], '-', w[1]['weather'][0]['description'])
print()
print('Day after tomorrow:')
print(w[2]['weather'][0]['main'], '-', w[2]['weather'][0]['description'])

命令行参数在空格上分割。命令行参数 San Francisco, US 将使 sys.argv 存储['getOpenWeather.py', 'San', 'Francisco,', 'US']。因此，调用 join() 方法以连接除 sys.argv 中的第一个字符串以外的所有字符串。将此连接的字符串存储在名为 location 的变量中。

response.text 成员变量存储JSON格式数据的字符串。JSON数据类似下面这样：

{'city': {'coord': {'lat': 37.7771, 'lon': -122.42},
          'country': 'United States of America',
          'id': '5391959',
          'name': 'San Francisco',
          'population': 0},
 'cnt': 3,
 'cod': '200',
 'list': [{'clouds': 0,
           'deg': 233,
           'dt': 1402344000,
           'humidity': 58,
           'pressure': 1012.23,
           'speed': 1.96,
           'temp': {'day': 302.29,
                    'eve': 296.46,
                    'max': 302.29,
                    'min': 289.77,
                    'morn': 294.59,
                    'night': 289.77},
           'weather': [{'description': 'sky is clear',
                        'icon': '01d',
--snip--

当使用命令行参数 getOpenWeather.py San Francisco, CA 运行该程序时，输出看起来像这样：

Current weather in San Francisco, CA:
Clear - sky is clear

Tomorrow:
Clouds - few clouds

Day after tomorrow:
Clear - sky is clear

实践项目

Excel 转 CSV 工具

使用第13章中的 openpyxl 模块，编写一个程序，该程序读取当前工作目录中的所有 Excel 文件并将其输出为 CSV 文件。
一个 Excel 文件可能包含多个工作表，必须为每个表创建一个 CSV 文件。CSV文件的文件名应为 <excel filename> _ <sheet title> .csv。

import openpyxl, csv

for xlsxFilename in os.listdir('.'):
	# Skip non-xlsx files, load the workbook object.
	if not xlsxFilename.endswith('.xlsx'):
		continue    # skip non-xlsx files
	wb = openpyxl.load_workbook(xlsxFilename)
	
	for sheetName in wb.sheetnames:
		# Loop through every sheet in the workbook.
		sheet = wb[sheetName]
		
		# Create the CSV filename from the Excel filename and sheet title.
		csvFileName = xlsxFilename[:-5] + "_" + sheet.title + ".csv"	# the filename of the Excel file without the file extension
		
		# Create the csv.writer object for this CSV file.
		csvFile = open(csvFileName, 'w', newline='')
		csvWriter = csv.writer(csvFile)
		
		# Loop through every row in the sheet.
		for rowNum in range(1, sheet.max_row + 1):
			rowData = []    # append each cell to this list
			# Loop through each cell in the row.
			for colNum in range(1, sheet.max_column + 1):
				# Append each cell's data to rowData.
				rowData.append(sheet.cell(row=rowNum, column=colNum).value)
				
			# Write the rowData list to the CSV file.
			csvWriter.writerow(rowData)
			
		csvFile.close()