ch_yunyun的博客

原创 数据量太大，节省内存的几种方式

1、使用nrows和skip_rows来读取。提前申明dtype和usecols，可以节省内存空间。train_data=pd.read_csv(train_dir,skiprows=range(1,SKIP_ROWS),nrows=TRAIN_ROWS,dtype=dtypes,usecols=use_cols)2、如果要兼顾内存和速度。可以使用reader来分块阅读。在创建reader的时候，...