csv文件数据过大,超过内存负荷,这种情况下,pandas对csv提供一个批量读取的参数。
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
代码如下:
对于非分布式环境下的算法训练,这种方式是相对可取的,适合增量学习。
csv文件数据过大,超过内存负荷,这种情况下,pandas对csv提供一个批量读取的参数。
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
代码如下:
对于非分布式环境下的算法训练,这种方式是相对可取的,适合增量学习。