python——节省内存空间的数据存储格式：bytes和编码转换

最新推荐文章于 2023-02-08 11:10:59 发布
最新推荐文章于 2023-02-08 11:10:59 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Micropython python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45779334/article/details/112793225
版权

最近在使用基于python的单片机pyboard，所以会考虑到单片机内存的问题，希望使用一种可以节省内存空间的数据存储格式，所以进行了相关的研究。

文章目录

python内置函数__sizeof__()

通过__sizeof__()可以对变量的内存进行检查，将不同的编码格式的内存情况打印出，对比得出较好的编码格式。

该方法返回给定对象所占用的内部空间大小(以字节为单位)。

python可用的内置编码格式

直接转换为bytes形式：

  • "utf-8"
  • "gb2312"

转换为字节数组形式：

  • bytearray

想要具体了解这几种编码格式的同学可以拉到文章最后的参考文章进行阅读了解。

对比结果

在这里插入图片描述

结论

  • 字符串
    可以发现，对于字符串来说，编码确实可以减小数据的内存大小。同时，gb2312编码格式可以减少更多的内存占用，utf-8其次，所以在pyb中可以使用gb2312格式对字符串进行编码传输，能够提高程序执行速度，降低内存占用。
  • 数字
    对于数字来说，python本身已经将内存占用压缩至最小了，无需优化。
  • 列表、元组
    在元组和列表中，元组更节省空间，在不需要改变成员变量的情况下，推荐使用元组进行数据传输。

参考文章：

Irving.Gao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python中的数据压缩和解压缩：使用io.BytesIO()和gzip模块
专注于深入研究多种编程语言，以实战为导向，逐步拓展开发技能，提升工程化编码和思维能力，展现无敌技术实力。
10-05 194
数据压缩是现代计算中的关键技术，可用于节省存储空间和网络带宽。Python提供了强大的工具，如io.BytesIO()和gzip模块，用于处理二进制数据的压缩和解压缩。本文将介绍如何使用这些工具来轻松地进行数据压缩和解压缩，以提高你的数据处理效率。
Python 数据保存：为什么选用CSV格式？ & 怎么避免乱码？
htuhxf的博客
08-21 2863
目录 a. csv与excel相比： b. csv与txt格式相比： c. 为什么保存后，特别是使用‘encoding=utf8’之后用excel打开还是乱码？ Python读取csv的速度远远大于excel！读取excel需要额外安装库。 速度对比见点击链接。 a. csv与excel相比： 优点： 结构简单（只有“逗号分隔符”），基本上和txt差不多（没有说明性信息，如字...
没有什么内存问题，是一行Python代码解决不了的 ...
weixin_33916256的博客
12-18 240
内存不足是项目开发过程中经常碰到的问题，我和我的团队在之前的一个项目中也遇到了这个问题，我们的项目需要存储和处理一个相当大的动态列表，测试人员经常向我抱怨内存不足。但是最终，我们通过添加一行简单的代码解决了这个问题。 结果如图所示： 我将在下面解释它的工作原理。 举一个简单的“learning”示例 - 创建一个DataItem类，在其中定义一些个人信息...
python字节流处理_Python解压缩字节流？
weixin_39671964的博客
12-04 651
Here is the situation:I get gzipped xml documents from Amazon S3import botofrom boto.s3.connection import S3Connectionfrom boto.s3.key import Keyconn = S3Connection('access Id', 'secret access key')b ...
python中的当数据量非常大的时候，节省内存空间的设置方式------------------------生成器与迭代器详解，内附示例代码
逆水行舟，不进则退
09-08 2090
铺垫部分，首先，我们先来讲一下列表生成式，如下所示 >>> [i*2 for i in range(10)] [0, 2, 4, 6, 8, 10, 12, 14, 16, 18] 这就是列表生成式，现在的数据量比较小，并不能看出什么，当把range(10),换为更高的数字的时候，我们就会看到，他直接会将所有的列表中的内容全部打印出来，显然，这是十分占用内存的，所以，就引入了...
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
12-25
Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，正是这使得两者的区分特别...
Python中json格式数据的编码与解码方法详解
09-21
本篇文章将详细探讨JSON格式数据在Python中的编码和解码方法。 ### 1. JSON格式数据编码 **编码** 是将Python对象转换为JSON字符串的过程。在Python中，这个过程通过`json.dumps()`方法完成。以下是一个例子： ``...
Python3——bytes和str
12-23
Python3——bytes 和str 参考链接： Python3种的str和bytes区别、包含python2与python3的区别 Python3中的bytes和str类型 编码方式 ASCII编码：8个比特位代表一个字符的编码，最多表示282^828个字符 UNICODE：规定...
Python——Pandas保存数据为HDF5格式时应注意数据类型
12-22
在Python的Pandas库中，数据处理和存储是至关重要的环节。当处理大规模数据时，高效的数据存储格式能显著提升工作效率。CSV文件因为其通用性和易于处理而被广泛使用，但在面对海量数据时，它的读取速度可能会成为...
python中的代码编码格式转换问题
09-21
在Python编程中，编码格式转换是一个常见的需求，特别是在处理不同来源的数据时，如文本文件、数据库存储或网络传输。在给定的标题和描述中提到的"python中的代码编码格式转换问题"，主要讨论如何使用Python来实现从...
python 内存数据压缩为zip: 跳过文件保存后在压缩，直接将数据保存为压缩格式
热门推荐
littleRpl的博客
11-25 1万+
文章目录一 __init__() 创建一个类文件对象二 append() 内存数据添加到zip对象三 appendfile() 文件添加到zip对象四 read() 读取zip数据流五 writetofile() 内存zip流保存为zip文件六 完整版python代码 工作中需要将大批的数据，压缩为zip存储。按照传统的处理办法需要将数据先存储到本地磁盘，再从磁盘读文件压缩成zip文件。 传统方法需要多次磁盘IO，性能很低，如果跳过文件存储，直接将内存的数据压缩保存，会大大减少磁盘IO，提升性能。 不
Python之字节到大整数的打包与解包
weixin_30530339的博客
03-04 312
需求：处理一个拥有128位长的16个元素的字节字符串　 将bytes解析为整数，使用 int.from_bytes() 方法，并像下面这样指定字节顺序： # 为了将bytes解析为整数，使用 int.from_bytes() 方法，并像下面这样指定字节顺序： data = b'\x00\x124V\x00x\x90\xab\x00\xcd\xef\x01\x00#\x004' ...
Python 字节串比特串转换以及大小端相关的几个方法
jhsxy2005的博客
01-27 3796
查看当前系统是大端还是小端：sys.byteorder，Windows是小端的，而小端在我们看来是和常规反向地 字节串的赋值表达式 其他类型与字节串互转 · 字符串 str.encode；bytes.decode · 整数 int.to_bytes；int.from_bytes，这里有一个btyeorder的参数，可以直接设置输出是大端还是小端 int.to_bytes(16,length=2,byteorder='big') Out[78]: b'\x00\x10' · 十六进制字符串 bytes.fr
python将内存数据压缩成zip
m0_37845900的博客
09-17 415
# !user/bin/env python3 # -*-coding : utf-8 -*- import zipfile from io import BytesIO import os class InMemoryZIP(object): def __init__(self): # create the in-memory file-like object self.in_memory_zip = BytesIO() def append(sel
python提高办公效率-【纯干货】提高Python运行效率的小窍门
weixin_37988176的博客
11-01 716
Python是一门优秀的语言，它能让你在短时间内通过极少量代码就能完成许多操作。不仅如此，它还轻松支持多任务处理，比如多进程。不喜欢Python的人经常会吐嘈Python运行太慢。但是，事实并非如此。尝试以下六个窍门，来为你的Python应用提速。窍门一：关键代码使用外部功能包Python简化了许多编程任务，但是对于一些时间敏感的任务，它的表现经常不尽人意。使用C/C++或机器语言的外部功能包处理...
Python：运行效率慢5个原因
we chat：玩转测试开发
07-08 6114
简介：Life is short，you need Python。一门编程语言的效率通常有两层意思，一方面是指开发效率，即程序员完成编码所需要的时间；另一方面是运行效率，即计算任务所需要的时间。编码效率和运行效率往往是鱼与熊掌的关系，是很难同时兼顾的。不同的语言会有不同的侧重，python语言毫无疑问更在乎编码效率。运行效率缓慢的原因：Python是动态语言，造成运行时的不确定性影响运行效率。Python是解释执行，不支持JIT（just in time compiler）Python中一切皆对象，每个对象
ANSA二次开发 - 加密py文件为pyd格式
CAECoder
05-10 1122
创建的没法运行。
micropython基础入门（esp32/esp8266单片机开发）
08-08
2022 / 01/ 30: 新版esptool 刷micropython固件指令不是 esptool.py cmd... 而是 esptool cmd... 即可;另外rshell 在 >= python 3.10 的时候出错解决方法可以查看:  已于2022年发布的: 第二章：修复rshell在python3.10出错 免费内容： https://edu.csdn.net/course/detail/29666 micropython语法和python3一样,编写起来非常方便。如果你快速入门单片机玩物联网而且像轻松实现各种功能，那绝力推荐使用micropython。方便易懂易学。 同时如果你懂C语音，也可以用C写好函数并编译进micropython固件里然后进入micropython调用（非必须）。 能通过WIFI联网(2.1章)，也能通过sim卡使用2G/3G/4G/5G联网（4.5章）。 为实现语音控制，本教程会教大家使用tensorflow利用神经网络训练自己的语音模型并应用。为实现通过网页控制，本教程会教大家linux(debian10 nginx->uwsgi->python3->postgresql)网站前后台入门。为记录单片机传输过来的数据， 本教程会教大家入门数据库。  本教程会通过通俗易懂的比喻来讲解各种原理与思路，并手把手编写程序来实现各项功能。 本教程micropython版本是 2019年6月发布的1.11； 更多内容请看视频列表。  学习这门课程之前你需要至少掌握: 1: python3基础（变量, 循环, 函数, 常用库, 常用方法）。 本视频使用到的零件与淘宝上大致价格:     1: 超声波传感器(3)     2: MAX9814麦克风放大模块(8)     3: DHT22(15)     4: LED(0.1)     5: 8路5V低电平触发继电器(12)     6: HX1838红外接收模块(2)     7：红外发射管(0.1)，HX1838红外接收板(1)     other: 电表, 排线, 面包板(2)*2,ESP32(28)  
小知识·编码格式和转换方法
m0_64560763的博客
02-08 1700
如何实现编码之间互相转换
python串口发送多字节数据_Python串口测试：bytes数据
最新发布
05-13
要在Python中发送多字节数据到串口，你可以使用PySerial库。下面是一个简单的示例代码，它将发送一个bytes类型的数据到串口： ```python import serial ser = serial.Serial('COM1', 9600) # 打开串口，COM1为串口号，9600为波特率 # 发送多字节数据 data = bytes([0x01, 0x02, 0x03, 0x04]) ser.write(data) ser.close() # 关闭串口 ``` 在这个示例中，我们首先创建了一个Serial对象，指定了串口号和波特率。然后，我们创建了一个bytes类型的数据（由4个字节组成），并使用`write()`方法将其发送到串口。最后，我们关闭了串口。 请注意，`bytes()`函数接受一个整数列表作为参数，每个整数代表字节的值。在本例中，我们创建了一个包含四个字节值的列表，然后将其转换为bytes类型的数据。 如果你需要发送更复杂的多字节数据，可以使用Python的struct模块来将数据打包成二进制格式。例如，下面的代码将一个整数和一个浮点数打包成二进制格式，并将其发送到串口： ```python import serial import struct ser = serial.Serial('COM1', 9600) # 打开串口，COM1为串口号，9600为波特率 # 打包数据 data = struct.pack('if', 1234, 3.14) # 发送数据 ser.write(data) ser.close() # 关闭串口 ``` 在这个示例中，我们使用`struct.pack()`函数将一个整数和一个浮点数打包成二进制格式。第一个参数`'if'`是格式字符串，表示一个整数和一个浮点数。然后，我们将打包后的数据发送到串口。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值