python序列化模块marshal和cPickle的效率比较

最新推荐文章于 2023-10-02 21:28:32 发布
VIP文章 最新推荐文章于 2023-10-02 21:28:32 发布
阅读量2.6k 收藏
点赞数 1
分类专栏： python 文章标签： python xhtml emacs 测试 数据库 date
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LittleGrizzly/article/details/7705774
版权

python序列化模块marshal和cPickle的效率比较

最近系统加入了异步请求，所以需要对象持久化！为了将python对象持久化（比如为了web app的session/cache需要）。我们不得不将其转化成字符串以后存到文件或则是数据库。

Python 提供了两个基于 C 的模块 cPickle 和 marshal 来做这个序列化反序列化的操作。marshal 貌似仅限于少数几种 python 内置数据对象，所以想象起来好像 marshal 比 cPickle 要快一些，而且我们自己做的几次benchmark好像也证明了这点。但实际上果真如此吗？

经过严密的测试发现：序列化“字符串”的时候CPickle要比marshal快。反序列化的效率基本没有什么差别。

这里一个老外给出了一个比较全面的测试结果，和使用建议。

Date: 2012-06-30T22:49+0800

Author: 骆志辉

Org version 7.8.11 with Emacs version 23

Validate XHTML 1.0
LittleGrizzly
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一篇文章了解Python中常见的序列化操作
12-25
0x00 marshal marshal使用的是与Python语言相关但与机器无关的二进制来读写Python对象的。这种二进制的格式也跟Python语言的版本相关，marshal序列化的格式对不同的版本的Python是不兼容的。 marshal一般用于Python内部对象的序列化。 一般地包括： 基本类型 booleans, integers,floating point numbers,complex numbers 序列集合类型 strings, bytes, bytearray, tuple, list, set, frozenset, dictionary code对
详解Python中的序列化与反序列化的使用
01-20
学习过marshal模块用于序列化和反序列化，但marshal的功能比较薄弱，只支持部分内置数据类型的序列化/反序列化，对于用户自定义的类型就无能为力，同时marshal不支持自引用(递归引用)的对象的序列化。所以直接使用marshal来序列化/反序列化可能不是很方便。还好，python标准库提供了功能更加强大且更加安全的pickle和cPickle模块。 cPickle模块是使用C语言实现的，所以在运行效率上比pickle要高。但是cPickle模块中定义的类型不能被继承（其实大多数时候，我们不需要从这些类型中继承。）。cPickle和pickle的序列化/反序列化规则是一样的，我们可以使用
在Python中marshal对象序列化的相关知识
01-20
有时候，要把内存中的一个对象持久化保存到磁盘上，或者序列化成二进制流通过网络发送到远程主机上。Python中有很多模块提供了序列化与反序列化的功能，如：marshal, pickle, cPickle等等。今天就讲讲marshal模块。 　　注意： marshal并不是一个通用的模块，在某些时候它是一个不被推荐使用的模块，因为使用marshal序列化的二进制数据格式还没有文档化，在不同版本的Python中，marshal的实现可能不一样。也就是说，用python2.5序列为一个对象，用python2.6的程序反序列化所得到的对象，可能与原来的对象是不一样的。但这个模块存在的意义，正如Pyt
Marshal函数中文介绍C#
柏林春天的专栏
06-11 6214
Marshal函数中文说明，用于处理托管内存和非托管内存非常有效
python 不同格式的读取效率(pickle/npy/npz/hdf)
消极的人永远是对的，积极的人选择勇往直前
10-18 2973
python 不同格式的读取效率(pickle/npy/npz/hdf)
python使用marshal模块序列化实例
ncafei的博客
03-05 3871
转自  http://www.jb51.net/article/55645.htm 本文实例讲述了python使用marshal模块序列化的方法，分享给大家供大家参考。具体方法如下： 先来看看下面这段代码： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
Python对象序列化和反序列化pickle和marshal
最新发布
10-02 372
在开展跨机器交互时，常常要在机器之间传递“对象”，而不仅仅是数据，这样我们就需要将Python对象进行序列化和反系列化，前面的json其实提供了一种序列化和反序列化的机制，但仅仅支持Python的简单对象，对于复杂的对象需要自己实现序列化和反序列化编码。Python提供了一种内部格式的序列化和反序列化机制。
Python标准库—pickle/marshal模块
L_zzwwen的博客
08-25 796
pickle——Python对象序列化 模块pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化。 “Pickling” 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程，而 “unpickling” 是相反的操作，会将（来自一个binary file或者bytes-like object的）字节流转化回一个对象层次结构。 注意： pickle是Pytho...
Python标准库中的marshal模块
李世铭的博客
04-03 7985
 marshal-内部的Python对象序列化         该模块包含可以以二进制格式读取和写入Python值的函数。该格式是针对Python的，但独立于机器架构问题(例如，您可以将Python值写入PC上的文件，将文件传输到Sun，并在那里读取它)。使用marshal序列化的二进制数据格式还没有文档化，它可能会在Python版本之间发生变化(尽管很少发生)。        
Python的marshal模块简介
成长的足迹
10-31 4980
Python的marshal模块，顾名思义也是负责在Python数值与二进制字节对象之间进行转换的。但是，marshal模块仅供Python解析器内部用作对象的序列化，不推荐开发人员使用该模块处理Python对象的序列化和反序列化。 marshal模块不是通用的序列化/反序列化模块，而是以读写.pyc文件中的Python代码为目的设计的。marshal模块提供的函数可以读写二进制对象为Pytho
pyc-grammar:从marshal.c检索.pyc字节码的语法描述
05-14
派克语法 从marshal.c生成.pyc字节码的语法描述。
【python学习】pickle文件和csv文件读取速度、内存大小对比
s1k9y9的博客
12-09 4704
本文主要从读取数据速度、占内存大小等方面对pickle文件(.pkl)和csv文件(.csv)进行对比 。
python2 json大数据_python使用pickle,marshal进行序列化、反序列及JSON的使用
weixin_39851279的博客
12-06 84
Pickle序列化python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象JSON(JavaScript Object Notation) json是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和...
python解释器cpython的源码简要介绍
phoenix_wangxd的博客
10-28 2743
python的解释器有好几种，但是最常见就是Cpython，所以我们这里主要介绍了Cpython的源码结构。
Python使用marshal模块操作二进制文件
董付国的Python专栏
08-14 208
Python标准库marshal可以进行对象的序列化和反序列化。>>> import marshal# 待序列化的对象>>> x1 = 30>&g...
python：marshal --- 内部 Python 对象序列化
点点关注不迷路
03-07 233
python：marshal --- 内部 Python 对象序列化
python pickle命令执行与marshal 任意代码执行
weixin_30462049的博客
08-02 276
1.python pickle反序列化漏洞 自己的理解： 　　由于在类的__reduce__方法中提供了我们可以自定义程序如何去解序列化的方法，因此如果应用程序接受了不可信任的序列化的数据，那么就可能导致安全问题。 import pickle import os class gen(object): def __reduce__(self): s = ""...
java marshal 序列化,python使用marshal模块序列化实例
weixin_35411439的博客
03-13 171
本文实例讲述了python使用marshal模块序列化的方法，分享给大家供大家参考。具体方法如下：先来看看下面这段代码：import marshaldata1 = ['abc',12,23,'jb51'] #几个测试数据data2 = {1:'aaa',"b":'dad'}data3 = (1,2,4)output_file = open("a.txt",'wb')#把这些数据序列化到文件中，注...
python marshal loads failed
06-09
2. Python 版本不兼容：`marshal` 模块的序列化和反序列化格式可能会因 Python 版本而异，如果序列化和反序列化的 Python 版本不一致，也可能导致出现 `python marshal loads failed` 错误。 3. 数据损坏：如果序列...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值