关于.jl.z格式文件的保存与读写（python大文件处理）

压缩存储能节省磁盘空间，但文件读写会耗费更多时间，属于用时间换空间的思路。
joblib提供了直接存取numpy矩阵数据的接口。

example1

import joblib as jl
import numpy as np

matrix = np.zeros((10000,10000))

jl.dump(matrix, 'x.jl')#非压缩存储，耗时1.34s，存储763M
jl.dump(matrix, 'x.jl.z')#压缩存储，耗时3.19s，存储3.4M

jl.load('x.jl')#536ms
jl.load('x.jl.z')#1.36s

from: https://blog.csdn.net/ybdesire/article/details/52029079

example2

dump即将df数据结构存为了.jl.z格式。此时你的文件目录如下：

红色文件即你刚才压缩的文件。
若需要读取:

X_train = jl.load('X_train.jl.z')
X_test = jl.load('X_test.jl.z')
y_train =  jl.load('y_train.jl.z')
y_test = jl.load('y_test.jl.z')

X_train.head()

总结:
joblib确实是一种python常用的文件读取格式，但是和feather相比，二者哪个是更合适的选择，待我之后研究一下。