python读取大文件-Python如何读取、拆分大文件

简述

最近和第三方数据接触较多，数据量也开始陡增，从一开始的1KW行，最大到了1亿行，这让我这个常年处理"小数据’的人有点捉襟见肘。本来数据放在hive中也是可以操作的，但是有时候需求是做一些拆分、更改数据或者增加列等动作，要用Python去处理数据。但是Pandas直接把大文件读取到DataFrame里面也是非常卡的，甚至会出现内存不足的情况，所以在这里用到read_csv的chunksize参数。

一般使用read_csv的时候，chunksize是设定为None的，这个时候read_csv会把整个文件的数据读取到DataFrame中，这样就会很吃内存。而当chunksize被设置成数值的时候，read_csv就会迭代读取数据，而不会一次性读取。这样就会返回一个TextFileReader的迭代器，只要用for循环取出数据即可。

chunksize

如何读取大文件

我现在有一份文件名为bigdata.csv的文件，文件大小为1.7GB，数据行约为4000W行，根本不用去尝试用read_csv直接读取，这样会让自己很尴尬。我直接把chunksize设置为100W，基本上在眨眼之间就"准备’好了数据，接着我把数据迭代出来即可。

如何操作大文件

增加一列

现在我想在城市之后加一列时间，只需要在每一个迭代出来的数据中加上即可。

拆分文件

读取数据后，我想把大文件拆分成多个小文件，方便上传和使用。

#-*- coding:utf-8 -*-

#author:chenpeng

#date: 2017-11-07

#作用：根据需要拆分的文件数，拆分文件

#备注：可以拆分csv格式文件和txt格式文件，返回的数据均是没有表头

import os

import pandas

def file_split(filename, file_num, header=True):

#根据是否有表头执行不同程序，默认是否表头的

if header:

# 获得每个文件需要有的行数

chunksize = 1000000 #先初始化的chunksize是100W

data1 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk')

num = 0

for chunk in data1:

num += len(chunk)

chunksize = round(num / file_num + 1)

# 需要存的file

head, tail = os.path.splitext(filename)

data2 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk')

i = 0 #定文件名

for chunk in data2:

chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)

print('保存第{0}个数据'.format(i))

i += 1

else:

# 获得每个文件需要有的行数

chunksize = 1000000 #先初始化的chunksize是100W

data1 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',')

num = 0

for chunk in data1:

num += len(chunk)

chunksize = round(num / file_num + 1)

# 需要存的file

head, tail = os.path.splitext(filename)

data2 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',')

i = 0 #定文件名

for chunk in data2:

chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)

print('保存第{0}个数据'.format(i))

i += 1

if __name__ == '__main__':

filename = 'D:\bigdata.csv'

file_split(filename, 5, header=False)

生成的数据

保存数据

最后，我更改了列，我想把更改完的数据又另外存为一个文件。mode设置为0是为了向文件增加内容，header=None是以免把表头增加进去