解码python中byte编码的object

最新推荐文章于 2024-07-26 09:40:54 发布
最新推荐文章于 2024-07-26 09:40:54 发布
阅读量2.6k 收藏 2
点赞数
分类专栏： python编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomoess1/article/details/78982504
版权
本文介绍了在Python3环境中处理Python2字节编码的pickle对象的问题。当尝试读取在Python2.7环境下创建的infos.pkl文件时，遇到字节编码的键。通过分析错误，发现需要将字节编码的键转换为可访问的字符串。作者分享了解决此问题的转换函数，包括将字节编码的字典转换为普通字典以及将字节编码的对象转换为常规对象。
摘要由CSDN通过智能技术生成

问题起因

这个问题的起因是我需要在Python3.5环境下读取一个infos.pkl,但这个pkl是在python2.7环境下存储的
首先读取的时候要加encoding=’bytes’，其他编码均会报错ordinal not in range(128)

with open(opt.infos_path,'rb') as f:
    infos = cPickle.load(f, encoding='bytes')

这个infos读进来是一个dict，dict里每个key中装了1个对象
打印infos.keys()，输出
dict_keys([b’epoch’, b’iter’, b’opt’, b’split_ix’])
说明这个dict的key是由byte编码的

原代码如下

opt.input_fc_dir = infos['opt'].input_fc_dir

我改为

opt.input_fc_dir =
最低0.47元/天 解锁文章
tomoess1
关注
专栏目录
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 19万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
python bytes对象 底层实现 源码分析 PyBytesObject(bytes)
zpoint's blog
03-18 1475
PyBytesObject 本文参考的是3.8.0a0 版本的代码，详见cpython 源码分析 基本篇 以后都在 github 更新，请参考图解python bytes 我们都知道在 python 中有以下两个对象可以表示 字节(bytes) a = bytes(b"\x1cccc") print(a) # b'\x1cccc' b = bytearray(b"\x1c...
python bytes和bytearray、编码和解码
weixin_33824363的博客
12-27 587
str、bytes和bytearray简介 str是字符数据，bytes和bytearray是字节数据。它们都是序列，可以进行迭代遍历。str和bytes是不可变序列，bytearray是可变序列，可以原处修改字节。 bytes和bytearray都能使用str类型的通用函数，比如find()、replace()、islower()等，不能用的是str的格式化操作。所以，如有需要，参考字符串(st...
Python字符串编解码，解决字符串乱码问题
最新发布
xyh2004的博客
07-26 950
字符集（Character Set）定义了一组特定的字符，而编码（Encoding）则是一种将字符集中的字符转换为特定数值或比特序列的规则，使得这些字符能在计算机系统中存储和传输。例如 ，ASCII字符集包含了英语字母、数字和一些控制字符 ，而Unicode字符集则涵盖了几乎世界上所有的书写系统。
深入理解 Python 虚拟机：字节（bytes）的实现原理及源码剖析
sdasdas12的博客
07-06 359
在本篇文章当中主要给大家介绍了在 cpython 内部对于 bytes 的实现，重点介绍了 cpython 当中 PyBytesObject 的内存布局和创建 PyBytesObject 的函数，以及对于 bytes 对象的拼接细节和 cpython 内部单字节字符的缓冲池。在程序当中最好使用 join 操作进行 btyes 的拼接操作，否则效率会比较低。一无是处的研究僧。
python str byte编码_Python学习-str与byte类型以及编码
weixin_42488050的博客
01-28 276
Python 3最重要的新特性之一是对字符串和二进制数据流做了明确的区分。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，你不能拼接字符串和字节流，也无法在字节流里搜索字符串(反之亦然)，也不能将字符串传入参数为字节流的函数(反之亦然)。编码发展的历史在谈 bytes和 str之前，需要先说说关于编...
java byte object的子类_Java-------字符流和字节流（III）
weixin_36246576的博客
02-16 119
字符流1) 编码问题2)认识文本和文本文件java的文本(char)是16位无符号整数，是字符的unicode编码(双字节编码)文件是byte byte byte ...的数据序列文本文件是文本(char)序列按照某种编码方案(utf-8,utf-16be,gbk)序列化为byte的存储结果3)字符流(Reader Writer)---->操作的是文本文本文件字符的处理，一次处理一个字符字符...
Python3中编码与解码之Unicode与bytes的讲解
01-01
今天玩Python爬虫，下载一个网页，然后把所有内容写入一个txt文件中，出现错误； TypeError: write() argument must be str, not bytes AttributeError: ‘URLError’ object has no attribute ‘code’ ...
python读取csv文件编码出错_尝试在python中读取csv文件时出现Unicode解码错误
weixin_26741799的博客
02-04 856
我不熟悉python和stackoverflow。在我有一个包含csv文件的文件夹，我试图从每个文件中读取字段名并将它们写入新的csv文件中。在多亏了stackoverflow，我能够编写和编辑代码，直到unicode错误出现。在我尽力解决这个错误并做了研究。在我发现在Mac或Linux中创建的文件使用utf8 unicode，在windows中创建的文件使用cp949。在因此，我必须用utf8打...
python-关于字节类型的转换
qq_44874955的博客
01-14 3185
1. bytes(source) --source为字符串时，则按照指定的 encoding 将字符串转换为字节序列 bytes('123asd', encoding='utf-8') # 输出为：b'123asd' bytes('我', encoding='utf-8') # 输出为：b'\xe6\x88\x91' --source为数字n(可以写为任意进制)时，则表示初始化n个字节的bytes序列， bytes(5) # 输出为：b'\x00\x00\x00\x00\x00
python 对象序列化 pickling_Python中的Pickle：对象序列化
weixin_33894886的博客
01-13 510
作为数据科学家, 你将使用字典, DataFrames或任何其他数据类型形式的数据集。与这些对象一起使用时, 你可能需要将它们保存到文件中, 以便以后可以使用它们或将其发送给其他人。这就是Python的pickle模块的用途：它将对象序列化, 以便可以将它们保存到文件中, 然后稍后再次加载到程序中。在本教程中, 你将涵盖以下主题：什么是酸洗？泡菜可以用来做什么？何时不使用泡菜什么可以腌制？泡菜vs...
python bytearray 对象 底层实现 源码分析 PyByteArrayObject(bytearray/buffer protocol)
zpoint's blog
03-15 1221
PyByteArrayObject 本文参考的是3.8.0a0 版本的代码，详见cpython 源码分析 基本篇 以后都在 github 更新，请参考图解python bytearray 我们都知道在 python3 中，bytes和 unicode 两种不同的对象被严格的区分开来，byte就是表示字节数组，并且是不可变的字节数组，你不能改变bytes 和 unicode...
Python utf-8与byte的解码问题
热门推荐
燕青专栏
11-27 1万+
在使用python的时候，经常会程序生成程序后再运行，就是所谓的程序自动进化。 在这种情况下，最常见的错误就是编码和解码的错误。在执行生成的代码之时，可能会出现如下的错误信息： SyntaxError: (unicode error) 'utf-8' codec can't decode byte 0xc1 in position 0: invalid start byte 一般
pickle.loads() 解析bytes类型字符串
darkduck9989的专栏
04-07 1638
有时候拿到的pickle是文本数据，而文本中有bytes字符串，这时候不要把字符串转bytes类型，因为转了你会发现根本不是你想要的，只需eval()这个函数。 b_str = "b'\\x80\x03G@\x02ffffff.'" print('------原始------') print(type(b_str)) print(b_str) print('------转换------')...
Python str 与 bytes 类型（Python2/3 对 str 的处理）
weixin_30666401的博客
05-24 488
本文均在 Python 3 下测试通过，python 2.x 会略有不同。 1. str/bytes >> s = '123' >> type(s) str >> s = b'123' bytes 2. str 与 bytes 之间的类型转换 python str与bytes之间的转换 str 与...
了解python中bytes,str和unicode的区别
老鼠程序员的专栏
10-08 7320
了解bytes,str和unicode的区别首先来说把Unicode转换为为原始8位值（二进制数据），有很多种办编写Python程序的时候，核心部分应该用Unicode来写，也就是python3中的str,python2中的unicodepython3中2种表示字符序列的类型：bytes和str前者的实例包含了原始8位值，后者的实例包含了Unicode字符python3中接受bytes和str,并总
python bytes_Python bytes（）
从零开始的教程世界
07-17 1413
python bytesPython bytes() is a built-in function. This function returns bytes object that is an immutable sequence of integers in the range 0 <= x < 256. Python bytes（）是一个内置函数。 此函数返回字节对象，该对象是不可...
Python编码解析：encoding、decode与str、bytes交互
在Python编程中，理解编码和解码的概念至关重要，尤其是当你处理文本文件、网络数据或者涉及不同语言字符集时。Python 3引入了对字符串（str）和字节（bytes）对象的明确区分，以解决早期版本中的混淆。 1. **字符...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值