python 筆記 - 資料/模型儲存 pickle and joblib

Pickle

• 簡單用法

  pickle.dump(obj, file)
  pickle.loads(file)
  

• 可以採用文本、byte形式儲存

• ！大量數據儲存（大於4GB）時，會出現memory error，在pickle
  4.0以上不會遇到這種情況

解決辦法有二：

1. 採用chunk，分多次進行儲存 （ref：pickle批次儲存）
2. 採用joglib module

joblib

• joblib更適合大量數據儲存
• 來自joblib module or sklearn module

import joblib
from sklearn.externals import joblib

• 簡易用法

joblib.dump(obj, file)
joblib.load(file)

另外，
與JSON比較

• 前者是binary 序列，後者是text 序列
• 後者具有可讀性
• 前者python專用，後者通用格式