Python之数据处理：pandas读取CSV大文件（chunk使用）

Pandas基础：读取CSV大文件

使用pandas读取一个超大CSV文件出现以下状况：

• 使用Excel打开csv文件时会报错或者丢失数据
• 使用基本pandas.read_csv打开文件时出现：MemoryError
  解决方案:
• 读取大文件使用pandas中的chunk分块读取

pandas的chunk分块读取

read_chunks = pd.read_csv(csv_path, encoding='utf-8', iterator=True, chunksize=65535)

参数说明：
iterator=True ：开启迭代器
chunksize=65535：指定一个chunksize分块的大小来读取文件，此处是读取65535个数据为一个块。

两种读取方式

• 第一种读取所有的chunk块并将所有块拼接成一个DataFrame

# 第一种读取所有的chunk块并将所有块拼接成一个DataFrame
chunk_list = list()
for chunk in read_chunks:
    chunk_list.append(chunk)
    # print(chunk, type(chunk))
base_df = pd.concat(chunk_list, axis=0, ignore_index=False)
print(base_df)

• 第二种只读取某一段数据（65535个数据）

# 第二种只读取某一段数据（65535个数据）
base_df = read_chunks.get_chunk(65535)
print(base_df)

pandas关于chunk读取的官方链接