⭐️pickle---Python对象序列化数据流格式序列化反序列化模块接口可以被封存/解封的对象示例安全性注意事项结论——《跟老吕学Python编程》

Python老吕

已于 2024-08-25 01:43:08 修改

阅读量562

点赞数 20

分类专栏：《跟老吕学Python编程·附录资料》文章标签： pickle模块 pickle文件 Python对象 Python序列化和反序列化 Python反序列化 python序列化 python数据流

于 2024-04-24 00:02:20 首次发布

本文链接：https://blog.csdn.net/molangmolang/article/details/138142398

版权

《跟老吕学Python编程·附录资料》专栏收录该内容

584 篇文章 78 订阅

订阅专栏

pickle---Python对象序列化数据流格式序列化反序列化模块接口可以被封存/解封的对象示例安全性注意事项结论——《跟老吕学Python编程》

pickle---Python对象序列化
结论

pickle---Python对象序列化数据流格式序列化反序列化模块接口可以被封存/解封的对象示例安全性注意事项结论——《跟老吕学Python编程》

pickle—Python对象序列化

数据流格式

pickle 模块在 Python 中提供了对象序列化和反序列化的功能。序列化是将 Python 对象转换为字节流的过程，而反序列化则是将这个字节流转换回原始对象的过程。pickle 模块的数据流格式是一个紧凑的二进制格式，它支持 Python 中几乎所有类型的对象，包括基本数据类型、函数、类、甚至整个模块和代码对象。

序列化

序列化是将Python对象转换为一个字节流的过程。这个字节流可以被写入到文件或者通过网络发送到其他位置。序列化的过程通常用于数据的持久化存储，或者在不同Python进程之间传递复杂对象。

下面是一个简单的例子，展示了如何使用pickle模块进行序列化：

import pickle

# 创建一个Python对象
data = {
    'name': 'Alice',
    'age': 30,
    'is_student': False
}

# 序列化对象
serialized_data = pickle.dumps(data)

# serialized_data现在是一个字节流，它包含了原始数据的信息
print(type(serialized_data))  # <class 'bytes'>

反序列化

反序列化是将字节流转换回Python对象的过程。这个过程通常在读取之前序列化并存储的数据时发生。

下面是一个反序列化的例子：

# 反序列化字节流
deserialized_data = pickle.loads(serialized_data)

# deserialized_data现在是一个Python字典，它与原始的data对象相同
print(type(deserialized_data))  # <class 'dict'>
print(deserialized_data)  # {'name': 'Alice', 'age': 30, 'is_student': False}

模块接口

pickle 模块提供了一系列函数和类来支持对象的序列化和反序列化。主要的函数有 pickle.dumps() 和 pickle.loads()，分别用于序列化和反序列化对象。此外，还有 pickle.dump() 和 pickle.load() 函数，它们分别用于将对象序列化到文件中和从文件中加载对象。

可以被封存/解封的对象

在 Python 中，几乎所有的对象都可以被 pickle 模块封存（序列化）和解封（反序列化）。这包括常见的数据类型如整数、浮点数、字符串、列表、元组、字典、集合等，还包括更复杂的对象如自定义类的实例、函数、类本身、模块等。然而，有一些对象由于安全或实现的原因，是不被允许序列化的，比如打开的文件对象、网络连接、某些系统资源等。

示例

下面是一个简单的示例，演示了如何使用 pickle 模块来序列化和反序列化一个 Python 对象：

import pickle

# 创建一个简单的对象
data = {
    'name': 'Alice',
    'age': 30,
    'hobbies': ['reading', 'traveling']
}

# 序列化对象
serialized_data = pickle.dumps(data)
print(type(serialized_data))  # 输出: <class 'bytes'>

# 反序列化对象
deserialized_data = pickle.loads(serialized_data)
print(type(deserialized_data))  # 输出: <class 'dict'>
print(deserialized_data)  # 输出: {'name': 'Alice', 'age': 30, 'hobbies': ['reading', 'traveling']}

安全性注意事项

虽然 pickle 模块非常强大，但是使用它时也需要注意安全性。由于 pickle 可以加载任意的 Python 对象，因此加载不可信来源的 pickle 数据可能会导致代码执行、数据泄露等安全问题。因此，在实际应用中，应该避免加载不信任的 pickle 数据，或者在使用 pickle 加载数据时采取适当的安全措施。

高级用法

pickle 模块除了基本的序列化和反序列化功能外，还提供了一些高级用法，这些用法可以帮助你更有效地处理复杂的对象序列化问题。

使用 Protocol

pickle 模块支持不同的序列化协议版本，这些协议影响序列化数据的格式和大小。从 Python 3.4 开始，pickle 支持更高的协议版本，这些版本提供了更高效的序列化方式。

import pickle

# 使用最高的协议版本进行序列化
data = {'key': 'value'}
serialized_data = pickle.dumps(data, pickle.HIGHEST_PROTOCOL)

定制序列化行为

有时候，你可能需要定制对象的序列化行为。pickle 模块允许你定义自己的序列化函数，或者使用 pickle 的 dispatch_table 来定制特定类型的序列化方式。

import pickle

class MyObject:
    def __init__(self, value):
        self.value = value

    def __getstate__(self):
        # 返回一个可以被序列化的值
        return self.value

    def __setstate__(self, state):
        # 从序列化值恢复对象状态
        self.value = state

# 序列化和反序列化
data = MyObject(42)
serialized_data = pickle.dumps(data)
deserialized_data = pickle.loads(serialized_data)
print(deserialized_data.value)  # 输出: 42

处理循环引用

在 Python 对象中，循环引用是常见的情况。pickle 模块可以自动处理对象中的循环引用，确保序列化和反序列化过程不会出错。

import pickle

class Node:
    def __init__(self, value):
        self.value = value
        self.parent = None

# 创建一个循环引用
a = Node(1)
b = Node(2)
a.parent = b
b.parent = a

# 序列化和反序列化
serialized_data = pickle.dumps([a, b])
nodes = pickle.loads(serialized_data)
print(nodes[0].parent is nodes[1])  # 输出: True

序列化大型对象

对于大型对象，你可能需要考虑内存和性能问题。pickle 模块提供了 pickle.Pickler 和 pickle.Unpickler 类，允许你以更细粒度的方式控制序列化和反序列化过程。

import pickle

# 创建一个大型对象
large_data = [i for i in range(100000)]

# 使用 Pickler 进行序列化
with open('large_data.pkl', 'wb') as f:
    pickler = pickle.Pickler(f)
    pickler.dump(large_data)

# 使用 Unpickler 进行反序列化
with open('large_data.pkl', 'rb') as f:
    unpickler = pickle.Unpickler(f)
    restored_data = unpickler.load()

结论

pickle模块为Python对象提供了一种方便且强大的序列化机制。然而，由于其专有的二进制格式和潜在的安全风险，它应该谨慎使用。在处理序列化数据时，应该考虑到数据的可移植性、安全性和性能。如果需要与其他语言或系统交换数据，可能需要考虑使用如JSON、XML等更通用的数据格式。

pickle 模块的高级用法提供了更多的灵活性和控制力，使得你可以定制序列化过程，处理复杂的对象关系，以及优化性能。然而，使用这些高级特性时，也需要更加注意安全性和兼容性问题。

博主：Python老吕由衷地感谢 CSDN网站 为我们搭建了一个如此卓越的学习平台，使我们有机会分享知识与经验。

在《跟老吕学Python·初级开发者》中，我们旨在帮助您从新手成长为一名能够独立解决问题的初级开发者。这里，您将学习到如何运用Python进行更复杂的编程任务，掌握面向对象编程的精髓，以及如何使用Python标准库来扩展您的能力。

本书不仅关注编程技能的提升，同样注重培养您的问题解决能力和代码设计思维。我们将通过实际案例和项目，让您在实践中学习如何构建程序，如何优化代码，以及如何进行有效的错误调试。随着您在编程道路上的不断前行，愿这本书成为您的指南针，引领您探索Python世界的无限可能。

博主：Python老吕编写的《跟老吕学Python》整个系列的教程包含11个专栏：

鉴于本专栏各文章教程可能存在的局限性和错误，博主：Python老吕诚挚地邀请广大读者在阅读过程中提出宝贵的意见和建议。如果您在学习本专栏教程时遇到任何问题，或有任何技术交流的意愿，欢迎在文章评论区留言，或通过CSDN私信与老吕取得联系。老吕将及时回复您的留言，并与您共同探讨，以期为大家提供更为精准和有效的帮助。老吕珍视每一位读者的反馈和支持，期待与您共同学习、共同进步，共同创造美好的未来！再次感谢大家的理解与支持！