Python Pickle模块存储以及加载数据 加快运行

在数据处理过程中，我们可能需要将变量保存下来，这样下次就可以直接读取处理后的结果，而不用重新执行某些重复耗时的操作。这里用到了Python的pickle包来做结果的存储和加载,

dump() 存储数据

pickle.dump(obj, file, protocol=None, *, fix_imports=True, buffer_callback=None)

将序列化以后的obj对象写入已打开的file对象。

import pandas as pd
import pickle

df = pd.read_csv('./data/titanic.csv')
with open('titanic.pickle', 'wb') as titanic:
    pickle.dump(df, titanic)

load() 加载数据

with open('titanic.pickle', 'rb') as file:
    df = pickle.load(file)

参考资料

https://docs.python.org/3/library/pickle.html
https://docs.python.org/zh-cn/3/library/pickle.html