2019/10/24 05-msgpack使用

最新推荐文章于 2024-04-09 09:31:47 发布
最新推荐文章于 2024-04-09 09:31:47 发布
阅读量349 收藏
点赞数
分类专栏： 22Python文件IO(三)高级文件操作和序列化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42227818/article/details/102726930
版权

序列化和反序列化，务必搞懂，所有的序列化方案不过是一种格式，就认为是架子一样，架子上必须放你的物品，不可能把你的物品改了，不允许随便改，改了也会给你想办法改回来，除非有些数据特别占空间
不同的序列化方案就是不同架子，把你的数据摆上去即可，
反序列化是，架子不要，从架子把数据拿过来，加标签这些数据什么类型

xml和jsion都是序列化方案，不是二进制的序列化方案，而是文本的序列化方案，而xml是后来解决数据交互，程序跟程序之间交互的中间格式
程序交互，必须先做序列化，然后再做反序列化，二进制的方案只是一种选择，还可以选择文本，这个文本最常用的就是xml和json
xml太大太占空间，现在都是作为配置文件替代ini
在这里插入图片描述
json可以做为序列化和反序列化方案，围绕json的网络开发技术也是很多的，
json （JavaScript object notaiion ，js对象标记）
ECMAscript是标注（w3c指定的标准）， javascript 只是实现
http://www.json.org
在这里插入图片描述
json,javascript能用几种数据类型，这里就能用几种，本来就是用来描述javascript的数据结构的
在这里插入图片描述
字符串是由双引号包围起来的任意字符的组合，可有转义字符，比如\n在这里插入图片描述在这里插入图片描述
key必须是字符串，就需要有双引号包围这个字符串在这里插入图片描述
一个对象改如何定义，、两头{}
必须经过大括号{}，可以往上走，第一条代表空对象
第二条，string:value kv对
第三条：string:value 遇到,逗号，弯折回来，可以定义第二个key：定义vlaue，不出去 继续拐弯在这里插入图片描述
数字等价于列表
第一条等价于空属组
第二条，中间带一个值出去了
第三条，带一个值，遇到逗号，带第二个值
在这里插入图片描述
说白了就是个字典dict，person的值有两个列表。里面有kv
在javascript叫对象
这个对象里面分为有两个键值对的，这个value是个数组，数组里面包含两个对象，这两个对象各有两个键值对在这里插入图片描述在这里插入图片描述
python里支持少量的内建数据，python大写，json小写
字典dict对于对象object
在这里插入图片描述
dumps转成文本，虽然是文本，有时会或多或少有一些编码问题，因为是文本才有编码问题
在这里插入图片描述
字符串类型，pickle是转换成二进制的，但是json其实是文本的，所以尽量转换成文本了
dumps（不落地）就不存了，就拿到一个字符串了
拿到字符串就可以反序列化了，在这里插入图片描述
看看反序列化变成什么
从字符序列装载起来变成python中的数据结构，就是字典，因为有对应关系在这里插入图片描述
在这里插入图片描述
转换总共4个方法
dump跟文件操作相关（写到文件里去）
load 从文件里读
dumps dump出来一个字符串
loads从字符串还原出对象
在这里插入图片描述
json的这几个方法也跟pickle兼容，序列化和反序列化只需要记住这4个方法即可
dump是序列化过程，。load是从序列化的数据直接装载，变成python中的对象
dumps往往变成序列，并不弄成文件 loards 后面的s代表序列，操作文件

一般直接在内存中得到序列，把序列传走，用pikele就是二进制的，如果是字符序列也传走

一般json的编码很少落地，数据都是通过网络传输，传输的时候，要考虑压缩它（把无用的空白字符压缩掉）有些优化就是要到字节级别，斤斤计较

本质上来说，json是个文本
在这里插入图片描述
数字20单字节就可以描述了，字符串的20，转成ascii码，就是两个字节，这里全是字符串
在这里插入图片描述
json的序列化是文本序列化，既然是文本就跟编码方式有点关系了，结构也简单

json是文本文件，ini看起来是个port=5000实际不是，是字符串5000不是数字5000，已经存在在文本里面
json常用的方法就两个，一般不落地，dumps和loards用的多

dumps返回一个字节序列，查看这个字节序列有多长
上面dumps序列化成2进制
下面是json格式
在这里插入图片描述
把空格替换掉（现实情况可能还要考虑value的空格），能压缩的话，是72字节，上面用了101个字节在这里插入图片描述
pickle序列化，要么传网络要么传文件，结果发现消耗的字节数可能更多点，所以json也有好处在这里插入图片描述在这里插入图片描述
这个msgpack也是bytes，才48
在这里插入图片描述
其实还可以做数据压缩，如果存储了100个1，他就给你100，1，所谓的压缩算法都这么做在这里插入图片描述
广告毫不客气
在这里插入图片描述https://msgpack.org在这里插入图片描述在这里插入图片描述
name和age一直在重复，可以把name缩写成n，在内部有个压缩的算法

redis都用
在这里插入图片描述在这里插入图片描述在这里插入图片描述
有几个方法，
packb是打包
unpackb是解包相当于loards
在这里插入图片描述
pack相当于dump，从内存中导出去
unpack 相当于load
在这里插入图片描述在这里插入图片描述
messagepack简单易用，高校压缩，支持语言丰富

序列号中经常会出现一种问题，一般都是通过网络来交换信息的，一个java写，一个python写，用pickle就不合适，用json传输就效率太低，没有二进制高，
这时候用MessagePack，是比较高效的，简单易用

合理的选择序列化和反序列化方案是在项目中要考虑的，一般不要选择pickle，用json，内建的库，支持json也就4个方法，
如果觉得json差，就可以用2进制的，MessagePack，简单易用就好维护
理解一下，字节，数字，字符串，序列，文本之间是什么关系
在这里插入图片描述

48N6E
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mpack-js:MessagePack编码器和解码器的Javascript实现
06-05
mpack-js MessagePack 编码器和解码器的面向浏览器的 JavaScript 实现。 用法 下面是一个如何使用 mpack-js 的简单示例： var mpack = require ( 'mpack-js' ) var bytes = mpack . encode ( { "hello" : "world" , "answer" : 42 , } ) var object = mpack . decode ( bytes ) console . log ( object . answer ) // 42 您还可以使用 Encoder 和 Decoder 对象从多个对象的序列中构建 MessagePack 消息： var mpack = require ( 'mpack-js' ) var encoder = new mpack . Encode
msgpack-js
gitblog_00002的博客
03-10 643
msgpack-js msgpack-jsThe msgpack protocol implemented in pure javascript.项目地址:https://gitcode.com/gh_mirrors/ms/msgpack-js msgpack-js 是一个 JavaScript 实现的 MessagePack 编解码库。MessagePack 是一种高效、轻量级的数据序列化协议...
msgpack库的神奇用法
weixin_30501857的博客
11-30 904
一般来说，我们接收到消息，然后通过消息队列发送消息给worker的时候，会有些额外的字段，这些字段不属于实际的消息，我们想把实际的消息和发给worker的消息分开定义。这时候我们会把worker消息中一个字段定义为interface{}或者object，这个字段表示任意的实际消息。 type WorkerMsg struct { ID int Rou...
js实现WebSocket与服务器数据交互 第三方包msgpack-lite的转换
qq_35307027的博客
07-20 921
const msgpack = require("msgpack-lite"); var NetWebSocket = cc.Class({ extends: cc.Component, properties: { wServersURL: null, //连接的服务器地址 wSocket: null, netType: null }, statics: { createWebSocke.
msgpack---序列化
senlin1202的博客
03-04 6932
效率:测试 msgpack,json,serialize 打包10000次 长度50,62,87 耗时9,95ms,17.45ms,8.85ms 解包 耗时14.76ms,23.93ms,14.61ms   MessagePack 是个什么东东？先来看一段官方的解释： MessagePack is an efficient binary serialization format
rpclib是现代C ++ msgpack-RPC服务器和客户端库-C/C++开发
05-26
主要亮点：公开要通过RPC调用的程序功能（使用任何实现msgpack-rpc的语言）通过RPC调用功能（使用任何语言编写的程序）无需IDL进行学习无需代码生成步骤即可将其集成到构建中，只需C ++外观服务器#include ...
socket.io-msgpack-parser:基于msgpack的socket.io解析器
04-28
socket.io-msgpack-parser 替代默认的 ，使用编码和解码数据包。 使用该解析器，浏览器的版本将变得更重（缩小了7.5 KB，压缩了3.0 KB），但是每条消息都较小（以二进制形式发送）。 请注意，您必须在双方...
jersey-jackson-msgpack
06-30
【jersey-jackson-msgpack】项目是一个基于Java的示例应用，它整合了Jersey、Jackson和MsgPack库，用于创建RESTful服务并处理数据序列化。该项目的主要目的是展示如何在Spring Boot环境中利用这些技术来提升Web服务...
python-msgpack-debugsource-0.6.2-1.el8.aarch64.rpm
12-06
官方离线安装包，亲测可用
level-msgpack:级别的msgpack编码
05-25
级别-msgpack 级别的msgpack编码。 安装 npm install level-msgpack 用法 只需包含level-msgpack并将其作为key-或valueEncoding传递即可。 var level = require("level"), lmp = require("level-msgpack"); var...
MessagePack.js:MessagePack的实现
05-24
MessagePack.js MessagePack的实现 文档 由制成的 。 浏览器和NW.js（node-webkit） < script src = "<module> < / script > < script src = "<module> < / script > < script > var source = { ... } ; var packed = WebModule.MessagePack.encode(source); var unpacked = WebModule.MessagePack.decode(packed); < / script > 网络工作者 importScripts ( "<module>lib/WebModule.js" ) ;
msgpack5:用于node.js的msgpack v5实现，扩展点为msgpack.org [Node]
04-22
msgpack5 适用于node.js和浏览器的msgpack v5实现，具有扩展点支持。 安装 npm install msgpack5 --save 用法 var msgpack = require ( 'msgpack5' ) ( ) // namespace our extensions , a = new MyType ( 2 , 'a' ) , encode = msgpack . encode , decode = msgpack . decode msgpack . register ( 0x42 , MyType , mytipeEncode , mytipeDecode ) console . log ( encode ( { 'hello' : 'world' } ) . toString ( 'hex' ) ) // 81a568656
msgpackr:具有扩展功能的超快速MessagePack实现，用于记录和结构克隆msgpack.org [JavaScriptNodeJS]
04-28
msgpackr msgpackr软件包是一种非常快速的MessagePack NodeJS / JavaScript实现。 当前，它比任何其他已知的实现都要快得多，比Avro（对于JS）要快，并且通常比本机V8 JSON.stringify / parse要快。 它还包括一个可选的记录扩展名（msgpackr中的r ），用于定义使MessagePack更快，更紧凑的记录结构，其速度甚至是本机JSON函数的两倍，比其他JS实现快几倍，以及15-50 ％更紧凑。 有关更多详细信息，请参见性能部分。 通过可选扩展还支持结构化克隆（支持循环引用）。 基本用法 安装方式： npm i msgpackr 并将其import或require用于基本的标准序列化/编码（ pack ）和反序列化/解码（ unpack ）功能： import { unpack , pack } from 'msgpa
MessagePack序列化实例代码
12-02
MessagePack是一个基于二进制高效的对象序列化Library用于跨语言通信。它可以像JSON那样，在许多种语言之间交换结构对象；但是它比JSON更快速也更轻巧。 支持Python、Ruby、Java、C/C++、Javascript等众多语言。 比Google Protocol Buffers还要快4倍。本代码是在netty中使用MessagePack序列化
msgpack.codec.js
11-16
node.js, MessagePack javascript解码代码
二进制数据格式MessagePack：比JSON更快更轻巧
weixin_34319640的博客
03-08 279
2019独角兽企业重金招聘Python工程师标准>>> ...
推荐开源项目：msgpack-javascript - 高效的数据序列化库
最新发布
gitblog_00005的博客
04-09 646
推荐开源项目：msgpack-javascript - 高效的数据序列化库 msgpack-javascript@msgpack/msgpack - MessagePack for JavaScript / msgpack.org[JavaScript/TypeScript/ECMA-262]项目地址:https://gitcode.com/gh_mirrors/ms/msgpack-javas...
msgpack使用
cxzhq2002的杂记
12-23 6152
http://msgpack.org/ msgpack介绍 msgpack是一个串行化的第三方库，支持多种语言绑定，同类的软件还有boost的Serialization, google的protobuf等。据说msgpack比protobuf快四倍，而Serialization没有比较过。 msgpack使用 类介绍 缓冲区 sbu
使用MessagePack中遇到的坑
weixin_43410352的博客
11-19 1598
网上有很多MessagePack的例子，都大同小异，我这里就不介绍了，主要是说一下遇到的坑。 大致情况： 服务端和客户端都能建立连接 ，客户端在服务端建立连接的时候，发送给客户端数据，但服务端就是接受不到消息，我在编码器MsgpackEncoder和MsgpackDecoder解码器中都打印了结果 编码器中都打印了结果，但是解码器中就是没有输出 最后经过查证需要在pojo对象类加上@Messag...
/home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/v1/object.hpp:664:34: error: ‘void* memcpy(void*, const void*, size_t)’ copying an object of non-trivial type ‘struct msgpack::v2::object’ from an array of ‘const msgpack_object’ {aka ‘const struct msgpack_object’} [-Werror=class-memaccess] std::memcpy(&o, &v, sizeof(v)); ^ In file included from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/object_fwd.hpp:17, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/v1/adaptor/adaptor_base_decl.hpp:14, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/adaptor/adaptor_base_decl.hpp:13, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/adaptor/adaptor_base.hpp:13, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/v1/object_decl.hpp:16, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/object_decl.hpp:14, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/object.hpp:13, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack.hpp:10, from /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/example/cpp03/stream.cpp:10: /home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/include/msgpack/v2/object_fwd.hpp:23:8: note: ‘struct msgpack::v2::object’ declared here struct object : v1::object { ^~~~~~ cc1plus: all warnings being treated as errors make[2]: *** [example/cpp03/CMakeFiles/stream.dir/build.make:63：example/cpp03/CMakeFiles/stream.dir/stream.cpp.o] 错误 1 make[2]: 离开目录“/home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master” make[1]: *** [CMakeFiles/Makefile2:415：example/cpp03/CMakeFiles/stream.dir/all] 错误 2 make[1]: 离开目录“/home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master”
07-20
根据您提供的错误信息，看起来是在编译过程中出现了一个错误。具体错误信息是： `‘void* memcpy(void*, const void*, size_t)’ copying an object of non-trivial type ‘struct msgpack::v2::object’ from an array of ‘const msgpack_object’ {aka ‘const struct msgpack_object’} [-Werror=class-memaccess]` 这个错误是由于在`/home/AQTJClient/AQTJAuditClient/depends/msgpack-c-master/example/cpp03/stream.cpp`文件中的第664行，使用了一个非平凡类型的结构体`msgpack::v2::object`，但是却通过`std::memcpy`函数将其从一个`const msgpack_object`数组复制过去。这违反了C++的规则。 为了解决这个问题，您需要检查代码中的复制操作，并确保它们符合C++的要求。可能需要使用适当的构造函数或赋值运算符来进行复制操作。另外，您还可以尝试禁用`-Werror=class-memaccess`选项，以便将这个警告作为警告而不是错误处理。 请检查您的代码并尝试解决这个问题。如果您需要更多帮助，请提供相关的代码片段以便更详细地分析问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值