python实现大型CSV文件的切割（以NGSIM数据为例）

在EXCEL中预览csv文件时，由于软件限制，仅能预览1048765行，大型csv文件在EXCEL中将无法展示1048765行以后的数据。因此，有必要对于大型csv文件进行切割，将大文件切分为数个能够被完整查看的子文件。本文使用Python代码实现对大型CSV文件的切割操作，文件已NGSIM数据中I-80路段小型车数据为例。关于前期数据准备，可参见本人前期发表的文章。NGSIM数据集Python处理（按照路段和车型筛选数据）_Mr.J的博客-CSDN博客_ngsim

直接上代码：

import pandas as pd
from pathlib import Path
res_file_path = Path(r"D:\BaiduNetdiskDownload\NGSIM_Data\I-80\小型车数据.csv")                 #待分割文件路径
split_size = 1000000              #子文件行数最大值
tar_dir = res_file_path.parent/("split_"+res_file_path.name.split(".")[0])
if not tar_dir.exists():
    tar_dir.mkdir()
    print("创建文件夹\t"+str(tar_dir))
print("目标路径：\t"+str(tar_dir))
print("分割文件：\t"+str(res_file_path))
print("分割大小：\t"+"{:,}".format(split_size))
tmp = pd.read_csv(res_file_path,nrows = 10)
columns = tmp.columns.to_list()
idx = 0
while(len(tmp)>0):
    start = 1+(idx*split_size)
    tmp = pd.read_csv(res_file_path,
                header = None,
                names = columns,
                skiprows = start,
                nrows = split_size)
    if len(tmp) <= 0:
        break
    file_name = res_file_path.name.split(".")[0]+"_{}_{}".format(start,start+len(tmp))+".csv"
    file_path = tar_dir/file_name
    tmp.to_csv(file_path,index=False)
    idx+=1
    print(file_name +"\t保存成功")

代码实现在原路径下创建文件夹，切割子文件，最后一个文件将自动取余。

 若有疑问或有交通数据处理需求欢迎VX探讨：A2528945820