pandas读取csv某一列_让pandas处理大数据速度变快的三个技巧

上一篇文章 写的是处理GB级数据时datatable比pandas会更高效，但是datatable使用起来毕竟不如pandas来的顺手。所以今天准备介绍pandas的三个使用技巧来让我们的运行效率提高，以便处理较大体量的数据。

一、将数据分批次读取

csv格式是常见的数据存储方式，对于我们普通人而言易于读写。此外，在pandas中有pd.read_csv()函数可以将csv形式的数据进行读取。但当csv文件非常大的时候，直接读取会很吃内存，甚至会出现内存不够用的情况。

这时候我们可以 分批次(分块)读取，而不是一次性读取 这么大体量的数据。操作步骤：

• 分批次读取

• 处理每一批次

• 保存每一批次的结果

• 对所有的数据重复步骤1-3

• 将所有的批次结果都结合起来

pd.read_csv(chunksize) 中的chunksize指的的是每一批次的行数

import pandas as pd

chunk_iterator = pd.read_csv("largest_data.csv", chunksize=10000)

chunk_