【神经网络与深度学习】两种加载 pickle 文件方式（joblib、pickle）的差异-CSDN博客

本文链接：https://blog.csdn.net/weixin_50512050/article/details/147593953

引言

从深度学习应用到数据分析的多元化需求出发，Python 提供了丰富的工具和模块，其中 pickle 和 joblib 两种方式在加载数据文件方面表现尤为突出。不同场景对性能、兼容性以及后续处理的要求不尽相同，使得这两种方式各显优势。本文将通过深入分析和对比，从技术细节出发，揭示两种加载方式的异同，同时解读文件扩展名的选择背后的逻辑。希望为开发者在实际应用中提供切实可行的参考依据。

下面为你详细分析这两种加载 pickle 文件方式的差异，以及文件扩展名不同的原因。

两种加载 pickle 文件方式的差异

1. 第一种方式（使用 `joblib`）

with open(config['dataset']['Gene_embedding'], 'rb') as fin:
    Gene_embeddings = joblib.load(fin)
self.Gene_embeddings = torch.tensor(Gene_embeddings)

使用的库：借助 joblib 库来加载 pickle 文件。joblib 是一个用于在 Python 里进行轻量级流水线作业的库，它对 pickle 模块进行了优化，在处理大型 NumPy 数组和 SciPy 稀疏矩阵时，比原生的 pickle 模块更高效。
后续处理：将加载的数据转换为 PyTorch 张量，这表明加载的数据可能是用于深度学习模型的数值数据，例如基因嵌入向量。

2. 第二种方式（使用 `pickle`）

embd_path = './data/XX.pickle'
with open(embd_path, 'rb') as f:
    embd = pd.DataFrame(pickle.load(f)).T

使用的库：运用 Python 内置的 pickle 模块来加载 pickle 文件。pickle 模块能够将 Python 对象序列化为字节流，也能将字节流反序列化为 Python 对象。
后续处理：把加载的数据转换为 Pandas 的 DataFrame 并进行转置操作，这意味着加载的数据可能是表格形式的数据，例如基因嵌入的特征矩阵。

文件扩展名不同的原因

在 Python 里，文件扩展名本身并不会影响 pickle 或 joblib 对文件的加载。.pickle 和 .pkl 这两种扩展名都可用于表示 pickle 文件，它们只是一种约定俗成的命名方式。

.pickle：这种扩展名更具描述性，清晰地表明文件是使用 pickle 模块序列化的。
.pkl：这是一种更为简洁的命名方式，在很多 Python 项目中被广泛使用，大家也都默认它表示的是 pickle 文件。

总结来说，两种加载方式的主要区别在于使用的库和后续的数据处理步骤，而文件扩展名的不同仅仅是命名习惯的差异。

除了前面提到的使用库和后续处理的差异外，两种处理方式在多个方面还存在不同，下面为你详细分析：

1. 性能表现

joblib 方式：
- joblib 在处理大型的 NumPy 数组和 SciPy 稀疏矩阵时具有显著的性能优势。它采用了更高效的序列化和反序列化算法，并且能够利用多线程进行数据处理，因此在加载包含大量数值数据的文件时，速度会比 pickle 更快。
- 例如，在处理基因嵌入数据时，如果数据以 NumPy 数组的形式存储，使用 joblib 可以减少加载时间，提高程序的运行效率。
pickle 方式：
- Python 内置的 pickle 模块在处理简单的 Python 对象（如列表、字典等）时表现良好，但对于大型的数值数据，它的性能相对较差。因为 pickle 在序列化和反序列化过程中可能会产生更多的开销。

2. 兼容性和安全性

joblib 方式：
- joblib 主要是为了优化数值计算而设计的，它的兼容性主要集中在与 NumPy 和 SciPy 相关的数据类型上。如果数据包含其他复杂的 Python 对象，可能会出现兼容性问题。
- 在安全性方面，joblib 同样依赖于 pickle 的序列化机制，因此也存在一定的安全风险，尤其是在加载来自不可信源的文件时。
pickle 方式：
- pickle 模块可以处理几乎所有的 Python 对象，具有很好的兼容性。但由于它可以执行任意代码（在反序列化过程中），所以存在安全隐患。如果加载的 pickle 文件来自不可信的源，可能会导致代码注入攻击。

3. 后续处理的灵活性

joblib 方式：
- 加载的数据通常是原始的 Python 对象，在这个例子中是后续转换为 PyTorch 张量。这种方式更适合直接用于深度学习模型的训练和推理，因为 PyTorch 可以直接处理张量数据。
pickle 方式：
- 将加载的数据转换为 Pandas 的 DataFrame 并进行转置操作，这使得数据更适合进行数据分析和可视化。Pandas 提供了丰富的数据处理和分析工具，可以方便地对数据进行筛选、聚合等操作。

4. 代码简洁性和可读性

joblib 方式：
- 代码相对简洁，只需要使用 joblib.load 函数即可完成文件的加载。对于熟悉深度学习和数值计算的开发者来说，这种方式更符合他们的编程习惯。
pickle 方式：
- 代码稍显复杂，需要使用 Python 内置的 open 函数打开文件，然后使用 pickle.load 函数加载数据。但这种方式更直观地展示了文件打开和数据加载的过程，对于初学者来说更容易理解。

综上所述，两种处理方式各有优缺点，具体选择哪种方式取决于数据的类型、后续处理的需求以及性能和安全性的考虑。