pandas 存储pickle如果出现 22 invalid argument错误的时候,有可能就是pickle不支持将如此大的数据序列化,可考虑使用hdf格式存储,和pickle有相似的速度,但是对大文件兼容的更好。
import pandas as pd
df = pd.DataFrame()
df.to_hdf('data.hdf', key='data')
pandas 存储pickle如果出现 22 invalid argument错误的时候,有可能就是pickle不支持将如此大的数据序列化,可考虑使用hdf格式存储,和pickle有相似的速度,但是对大文件兼容的更好。
import pandas as pd
df = pd.DataFrame()
df.to_hdf('data.hdf', key='data')