在EXCEL中预览csv文件时,由于软件限制,仅能预览1048765行,大型csv文件在EXCEL中将无法展示1048765行以后的数据。因此,有必要对于大型csv文件进行切割,将大文件切分为数个能够被完整查看的子文件。本文使用Python代码实现对大型CSV文件的切割操作,文件已NGSIM数据中I-80路段小型车数据为例。关于前期数据准备,可参见本人前期发表的文章。NGSIM数据集Python处理(按照路段和车型筛选数据)_Mr.J的博客-CSDN博客_ngsim
直接上代码:
import pandas as pd
from pathlib import Path
res_file_path = Path(r"D:\BaiduNetdiskDownload\NGSIM_Data\I-80\小型车数据.csv") #待分割文件路径
split_size = 1000000 #子文件行数最大值
tar_dir = res_file_path.parent/("split_"+res_file_path.name.split(".")[0])
if not tar_dir.exists():
tar_dir.mkdir()
print("创建文件夹\t"+str(tar_dir))
print("目标路径:\t"+str(tar_dir))
print("分割文件:\t"+str(res_file_path))
print("分割大小:\t"+"{:,}".format(split_size))
tmp = pd.read_csv(res_file_path,nrows = 10)
columns = tmp.columns.to_list()
idx = 0
while(len(tmp)>0):
start = 1+(idx*split_size)
tmp = pd.read_csv(res_file_path,
header = None,
names = columns,
skiprows = start,
nrows = split_size)
if len(tmp) <= 0:
break
file_name = res_file_path.name.split(".")[0]+"_{}_{}".format(start,start+len(tmp))+".csv"
file_path = tar_dir/file_name
tmp.to_csv(file_path,index=False)
idx+=1
print(file_name +"\t保存成功")
代码实现在原路径下创建文件夹,切割子文件,最后一个文件将自动取余。
若有疑问或有交通数据处理需求欢迎VX探讨:A2528945820