《利用Python进行数据分析》学习笔记 第6章 数据加载、存储与文件格式

第6章 数据加载、存储与文件格式

6.1 读写文本格式的数据 

• 逐块读取文本文件

若想读取几行（避免读取整个文件），通过nrows进行指定即可。

要逐块读取文件，可以指定chunksize（行数）。

• 将数据写出到文本格式

利用DataFrame的to_csv方法，可以将数据写到一个以都好分隔的文件中。 

• 处理分隔符格式

对于任何单字符分隔符文件，可以直接使用Python内置的csv模块。将任意已打开的文件或文件型的对象传给csv.reader，对这个reader进行迭代将会为每行产生一个元组（并移除了所有的引号）。

zip(*values)将行转置为列，创建数据列的字典。

• JSON数据

JSON（JavaScript Object Notation的简称）已经成为通过HTTP请求在Web浏览器和其他应用程序之间发送数据的标准格式之一。它是一种比表格型文本格式（如CSV）灵活得多的数据格式。

json.dumps则将Python对象转换成JSON格式：asjson = json.dump(result)

pandas.read_json可以自动将特别格式的JSON数据集转换为Series或DataFrame。

• XML和HTML：Web信息收集

pandas有一个内置的功能，read_html，它可以使用lxml和Beautiful Soup自动将HTML文件中的表格解析为DataFrame对象。

6.2 二进制数据格式

实现数据的高效二进制格式存储最简单的办法之一是使用Python内置的pickle序列化。pandas对象都有一个用于将数据以pickle格式保存到磁盘上的to_pickle方法。

• 读取Microsoft Excel文件

pandas的ExcelFile类或pandas.read_excel函数支持读取存储在Excel 2003（或更高版本）中的表格型数据。这两个工具分别使用扩展包xlrd和openpyxl读取XLS和XLSX文件。

存储在表单中的数据可以read_excel读取到DataFrame

如果要将pandas数据写入为Excel格式，必须首先创建一个ExcelWriter，然后使用pandas对象的to_excel方法将数据写入到其中。

6.3 Web APIs交互

网站有一些通过JSON或其他格式提供数据的公开API。通过Python访问这些API有一个简单易用的办法是requests包。