常见数据文件存储和读取

当我们使用 Python 读取数据文件时，首先推荐的就是通过 Pandas 完成，Pandas 几乎支持所有常见的数据文件格式。

数据类型	文件格式	读取方式	存储方式
文本	CSV	read_csv	to_csv
文本	JSON	read_json	to_json
文本	HTML	read_html	to_html
文本	剪切板	read_clipboard	to_clipboard
二进制	MS Excel	read_excel	to_excel
二进制	HDF5 格式	read_hdf	to_hdf
二进制	Feather 格式	read_feather	to_feather
二进制	Parquet 格式	read_parquet	to_parquet
二进制	Msgpack	read_msgpack	to_msgpack
二进制	Stata	read_stata	to_stata
二进制	SAS	read_sas	to_sas
二进制	Python Pickle 格式	read_pickle	to_pickle

Excel 和 CSV 格式

上面的表格中，相信你最熟悉的是 Excel 表格数据文件。由于 Excel 表格有最大的行数储存限制（16,384 列 × 1,048,576 行），所以更多时候我们会使用 CSV 来储存表格数据。

CSV 的英文是 Comma-Separated Values，其实就是通过字符分割数据并以纯文本形式存储。这里的分割字符我们一般会使用逗号，所以往往也称 CSV 文件为逗号分隔符文件。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据，也没有最大行数的储存限制。

下面，我们尝试读取 Excel 和 CSV 格式的示例数据文件。首先，我们需要生成不同类型的数据示例文件。下面这段代码直接点击运行即可，将会在目录下方生成两个最常用的数据文件 test.csv 和 test.xlsx。

教学代码

In [1]:

import numpy as np
import pandas as pd

# 生成示例数据
df = pd.DataFrame({'A': np.random.randn(10), 'B': np.random.randn(10)})

# 写入数据文件
df.to_csv('test.csv', index=None)  # CSV
df.to_excel('test.xlsx', index=None)  # EXCEL
print("*****示例文件写入成功*****")
*****示例文件写入成功*****

# 在此import numpy as np
import pandas as pd
import numpy as np
# 生成示例数据
df = pd.DataFrame({'A': np.random.randn(10), 'B': np.random.randn(10)})

# 写入数据文件
df.to_csv('test.csv', index=None)  # CSV
df.to_excel('test.xlsx', index=None)  # EXCEL
print("*****示例文件写入成功*****")

*****示例文件写入成功*****

下面，我们学习使用 Pandas 读取文件的方法，直接运用上面表格中的 API 即可。CSV 文件读取是 read_csv ，而 Excel 文件读取是 read_excel 。

pfc=pd.read_csv("test.csv")
print(pfc)
          A         B
0 -0.631166  0.618370
1  0.830369 -1.100556
2 -1.705350  0.253452
3  0.569138 -0.809670
4  1.358868 -0.949296
5  0.873989  0.759465
6 -0.024066  0.893342
7 -0.056798  2.006965
8  0.294654 -0.904885
9  0.897250 -0.346867

pdd=pd.read_excel('test.xlsx')
print(pdd)
          A         B
0 -0.631166  0.618370
1  0.830369 -1.100556
2 -1.705350  0.253452
3  0.569138 -0.809670
4  1.358868 -0.949296
5  0.873989  0.759465
6 -0.024066  0.893342
7 -0.056798  2.006965
8  0.294654 -0.904885
9  0.897250 -0.346867

当你读取 Excel 文件时，首先需要安装 openpyxl 模块，不然就会报错。安装该模块的命令为：pip install openpyxl。在线环境中，我们已经为你安装好了该模块。

pd.read_excel('test.xlsx')

	A	B
0	-0.631166	0.618370
1	0.830369	-1.100556
2	-1.705350	0.253452
3	0.569138	-0.809670
4	1.358868	-0.949296
5	0.873989	0.759465
6	-0.024066	0.893342
7	-0.056798	2.006965
8	0.294654	-0.904885
9	0.897250	-0.346867

你可以发现，通过 Pandas 读取处理的数据会自动以表格样式呈现，这也就是 Pandas 特有的数据格式：DataFrame。在学习数据分析的生涯中，DataFrame 将会成为你最容易听到的名词之一。Pandas 的所有数据操作都是针对于 DataFrame 进行。

特别地，我们会将 Pandas 中的一维数据类型称之为 Series，三维数据称之为 Panel。但实际上，它们都可以看作是特殊的 DataFrame。

HDF5 格式

HDF（英语：Hierarchical Data Format）指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF5 格式的特点在于能存储多个数据集，并且支持 metadata。

HDF5 文件包含两种基本数据对象：

• 群组（group）：类似文件夹，可以包含多个数据集或下级群组。
• 数据集（dataset）：数据内容，可以是多维数组，也可以是更复杂的数据类型。

群组和数据集都支持元数据 metadata，用户可以自定义其属性，提供附加信息。元数据类似于「数据的数据」，它能够用来说明数据的特征和其他属性。

HDF5 的好处在于，你不仅可以使用 Python 存储和读取，目前还被 Java，MATLAB/Scilab，Octave，IDL，Julia, R 等语言或商业软件支持。

下面，我们同样尝试使用 Pandas 来存储和读取 HDF5 数据。和 Excel 文件读取相似，我们需要先安装一个依赖模块 PyTables，命令为：pip install tables。

df1 = pd.DataFrame({'A': np.random.randn(10), 'B': np.random.randn(10)})  # 随机数据
df2 = pd.DataFrame({'C': np.random.randn(10), 'D': np.random.randn(10)})  # 随机数据

df1.to_hdf('test.h5', key='df1')  # 存储 df1
df2.to_hdf('test.h5', key='df2', format='table')  # 存储 df2 

上面的代码中，我们通过指定 key 向 HDF 文件中存储了 2 个不同的数据集 df1 和 df2。那么，接下来我们尝试读取。

pd.read_hdf('test.h5', key='df1')  # 读取 df1 

如果你仔细观察，你会发现上面我们在存储示例数据时，df2 后面指定了 format='table' 参数。这是因为，HDF 支持两种存储架构：fixed 和 table。默认为 fixed，因为其读取速度更快，但是 table 却支持查询操作。

# 读取 df2 中 index < 5 的数据
pd.read_hdf('test.h5', key='df2', where=['index < 5'])

你可能会觉得，HDF5 既然支持存储多个数据集，是不是类似于数据库中的「表」呢？值得注意的是，HDF5 并不是数据库，如果多个使用者同时写入数据，数据文件会遭到破坏。

JSON 格式

JSON（英文：JavaScript Object Notation）是一种由道格拉斯·克罗克福特构想和设计、轻量级的数据交换语言，该语言以易于让人阅读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。尽管 JSON 是 JavaScript 的一个子集，但 JSON 是独立于语言的文本格式。

JSON 数据格式与语言无关，脱胎于 JavaScript，但目前很多编程语言都支持 JSON 格式数据的生成和解析。JSON 的官方 MIME 类型是 application/json，文件扩展名是 .json。

这里特别说到 JSON 格式，原因是其已经成为了 HTTP 请求过程中的标准数据格式。而后面的采集数据过程中，我们会学习到通过 API 请求数据，一般都会对 JSON 进行解析。所以，这里先行了解学习。

下面，我们给出一段 JSON 的示例数据：

obj = """ 
[
    {
        "aqi": 46,
        "area": "成都",
        "pm2_5": 32,
        "pm2_5_24h": 33,
        "position_name": "金泉两河",
        "primary_pollutant": null,
        "quality": "优",
        "station_code": "1431A",
        "time_point": "2018-09-05T09:00:00Z"
    },
    {
        "aqi": 29,
        "area": "成都",
        "pm2_5": 20,
        "pm2_5_24h": 26,
        "position_name": "十里店",
        "primary_pollutant": null,
        "quality": "优",
        "station_code": "1432A",
        "time_point": "2018-09-05T09:00:00Z"
    }
]
"""

JSON 数据中 key 必须是字符串类型，缺失值用 null 表示。其中还可能包含的基本类型有：字典，列表，字符串，数值，布尔值等。

Pandas 中的 read_json 往往能直接把 JSON 解析为 DataFrame。

pd.read_json(obj)

上面的结果是不是看起来非常舒服，DataFrame 的确是最佳的数据呈现格式。不过，由于 JSON 支持复杂的嵌套，有时候直接通过 read_json 读取到的 DataFrame 并不是我们想要的样子，例如某个键值是以字典或列表存在。此时，我们就会用其他的工具来解析 JSON 了。

Python 中有许多能够储存和解析 JSON 的库，这里推荐使用内建库 json。上面给出的 obj 其实是字符串，如果想要将其转换为 Python 的数据类型（Python Object），那么就可以使用 json.loads(obj) 完成。

import json

obj = json.loads(obj)
obj

现在，你就可以使用 Python 对字典、列表等操作方法来对上面的 obj 进行处理了。例如，我们想读取「金泉两河」地名。

obj[0]['position_name']

除此之外，使用 json.dumps 可以把 Python Object 转换为 JSON 类型。

json.dumps(obj)

read_ 操作参数详解

Pandas 中的 read_ 操作可不仅仅是加载数据文件这么简单，它带有的一些参数可以实现更加个性化的读取结果。我们以 pandas.read_csv() 的 API 为例。

pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.', lineterminator=None, quotechar='"', quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, doublequote=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)

上面的参数可能让你看到眼花缭乱，我们挑几个重要的介绍。

• path：路径不仅仅可以读取本地文件，还支持远程 URL 链接。
• sep：支持按特定字符分割。
• header：可以指定某一行为列名，默认是第一行。
• names：自定义列名。
• skiprows：指定忽略某些行。
• na_values：对空值进行指定替换操作。
• parse_dates：尝试将数据解析为日期。
• nrows：读取指定行数的数据。
• chunksize：指定分块读取数据大小。
• encoding：指定文件编码。

上面的这些参数使得 Pandas 的数据文件读取功能非常强大。例如，如果你的 CSV 文件是使用分号 ; 而不是逗号 , 分割，那么就可以通过 sep=';' 让数据加载为正常的 DataFrame 格式。

除此之外，像 skiprows 非常常用，它可以指定忽略某些行。，使得在加载数据时就可以对数据实现过滤，面对庞大且加载较慢的数据文件时特别好用。我们拿上面的示例数据举例。

In [ ]:

pd.read_csv("test.csv", skiprows=range(1, 5))  # 忽略前 4 行的数据

分块读取数据

这里，我们特别介绍一下分块读取的方法。在很多时候，手中的数据集都非常大。例如当我们直接读取一个 GB 级别的 CSV 文件时，不仅速度很慢，还有可能因为内存不足而报错。此时，通过分块读取的方式加载数据文件就非常方便了。

通过上面的 read_ 参数可以看出，分块读取需要指定 chunksize，也就是每一块的大小。究竟该怎么做，我们来试一下。

chunker = pd.read_csv("test.csv", chunksize=2)
chunker

chunker 返回的 pandas.io.parsers.TextFileReader 是一个可迭代对象。你可以通过 get_chunk() 逐次返回每一个块状数据的内容。你可以尝试多次运行下方单元格，以查看每次迭代的结果。

chunker.get_chunk()  # 迭代返回分块数据内容

分块读取是解决大文件读取慢的有效手段，但需要注意 chunksize 并不是 Pandas 中每个 read_ 操作都支持的参数，这需要你在使用时通过官方文档确认。