Python 如何处理大文件----Python 如何处理大数据----Python 如何分析大数据文件

Python 如何处理大文件

 

Python作为一门程序设计语言，在易读、易维护方面有独特优势，越来越多的人使用 Python 进行数据分析和处理，而 Pandas 正是为了解决数据分析任务而创建的，其包含大量能便捷处理数据的函数和方法，使得数据处理变得容易，它也是使 Python 成为强大而高效的数据分析环境的重要因素之一。

但是 Pandas 是个内存的类库，用于处理小数据（能放入内存）没问题，对于大数据（内存放不下）就没有那么方便了。而我们平时工作中却能经常碰到这种较大的文件（从数据库或网站下载出来的数据），Pandas 无能为力，我们就只能自己想办法，本文就来讨论这个问题。

本文所说的大数据，并不是那种 TB、PB 级别的需要分布式处理的大数据，而是指普通 PC 机内存放不下，但可以存在硬盘内的 GB 级别的文件数据，这也是很常见的情况。

由于此类文件不可以一次性读入内存，所以在数据处理的时候，通常需要采用逐行或者分块读取的方式进行处理，虽然 Python 和 pandas 在读取文件时支持这种方式，但因为没有游标系统，使得一些函数和方法需要分段使用或者函数和方法本身都需要自己写代码来完成，下面我们就最常见的几类问题来进行介绍，并写出代码示例供读者参考和感受。

一、    聚合

简单聚合只要遍历一遍数据，按照聚合目标将聚合列计算一遍即可。如：求和（sum），遍历数据时对读取的数据进行累加；计数（count），遍历数据时，记录遍历数即可；平均（mean），遍历时同时记录累计和和遍历数，最后相除即可。这里以求和问题为例进行介绍。

设有如下文件，数据片段如下：

现在需要计算销售总额（amount 列）

（一）逐行读取

total=0 with open("orders.txt",'r')   as f:       line=f.readline()       while True:         line = f.readline()         if not line:             break         total +=   float(line.split("\t")[4]) print(total)

打开文件 标题行   逐行读入 读不到内容时结束   累加

（二）pandas分块读取

使用 pandas 可以分块读取了，工作逻辑结构如下图：

import pandas as pd chunk_data =   pd.read_csv("orders.txt",sep="\t",chunksize=100000) total=0 for chunk in chunk_data:       total+=chunk['amount'].sum() print(total)

分段读取文件，每段 10 万行     累加各段的销售额

pandas更擅长以大段读取的方式进行计算，理论上 chunksize 越大，计算速度越快，但要注意内存的限制。如果 chunksize 设置成 1，就成了逐行读取，速度会非常非常慢，因此不建议使用 pandas 逐行读取文件来完成此类任务。

二、    过滤

过滤流程图:

过滤和聚合差不多，将大文件分成 n 段，对各段进行过滤，最后将每一段的结果进行合并即可。

继续以上面数据为例，过滤出纽约州的销售信息

（一）小结果集

import pandas as pd chunk_data =   pd.read_csv("orders.txt",sep="\t",chunksize=100000) chunk_list = []   for chunk in chunk_data:       c