Go语言常见序列化协议全面对比

最新推荐文章于 2024-09-23 16:59:20 发布
最新推荐文章于 2024-09-23 16:59:20 发布
阅读量1.2k 收藏 23
点赞数 22
分类专栏： Go 文章标签： golang 服务器 序列化 后端 RPC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjc133/article/details/140696201
版权

先说结论

从易用性、性能、内存占用、编码后大小等几个方面综合考虑 ProtoBuf 胜出。
Gob 从性能和 I/O 带宽占用上都和 ProtoBuf 差不多，唯一劣势是编解码时内存占用较多。考虑到不用再写 IDL 带来的易用性，如果整个系统内不存在使用除 Go 以外其他语言的服务，Gob 是更合适的选择。

jsonmsgpgobpbflatbuffers
易用性好好好一般极差
性能差差好好好
编解码内存占用一般差差好差
编码后大小差差好好差
成熟度好一般较好好一般

测试场景

限制单核单线程场景，使用本地机器进行测试。
使用对象为 10 个字段对象，包括 string、int32、slice、map 等多种类型，且存在嵌套关系。

type Layer10 struct {
	IntField    int32
	StringField string
	SliceField  []int32
	MapField    map[string]int32
	Field5      int32
	Field6      string
	Field7      []int32
	Field8      map[string]int32
	Field9      int32
	Field10     string
	Layer10 *Layer10
}

主要验证 json、gob、msgp、pb、flatbuffers 这 5 种序列化方案。

场景1：层数逐渐增长

性能

这里不对CPU利用率做分析，原因是编解码属于纯计算密集型场景，每一种序列化方式都能跑满CPU。我们应该关注同等CPU性能下，序列化的效率。下面分别测试编解码混合、仅编码和仅解码的效率。
编解码混合
设定层级数从1层到100层递增，使用5种序列化方式进行编码+解码。
image.png
可以看出，在对象简单时（嵌套层级不超过5层），gob的性能不是很好，甚至比json更差；但在对象复杂度很高时，gob的性能优势就体现出来。
pb的性能略好于gob，二者的增长斜率基本一致。在应对复杂对象场景时，GOB性能要比JSON好一倍以上。
性能排名（>表示优于）：FLAT > PB > GOB > MSGP > JSON

仅编码
image.png
JSON 的编码效率并不低，甚至能和 GOB 和 PB 保持在同一水平线上。

仅解码
image.png
解码效率拉开差距，JSON 解码性能很差，GOB 和 PB 较好，GOB 略低于 PB。

内存使用率

image.png
在序列化过程中，gob 需要消耗较多内存。而 pb 一直保持较低内存消耗
内存使用排序（>表示优于）：PB > JSON > FLAT > MSGP >GOB

编码后大小

image.png
编码后，pb 和 gob 的长度都较小，基本不分伯仲。其他三种表现一般。
编码后大小排序（>表示优于）：GOB > PB > FLAT > MSGP > JSON

以下是不同数量级时的性能表现：

# 层级为1时
Layer-1-Size-1-JSON         	    1000	      3887 ns/op	    1384 B/op	      34 allocs/op
Layer-1-Size-1-GOB          	    1000	     23707 ns/op	   13270 B/op	     333 allocs/op
Layer-1-Size-1-PB           	    1000	      1594 ns/op	    1000 B/op	      30 allocs/op
Layer-1-Size-1-MSGP         	    1000	      4139 ns/op	    2040 B/op	      59 allocs/op
Layer-1-Size-1-FLAT         	    1000	     6.708 ns/op	       1 B/op	       0 allocs/op

# 层级为10时
Layer-10-Size-1-JSON        	    1000	     39244 ns/op	   11592 B/op	     256 allocs/op
Layer-10-Size-1-GOB         	    1000	     40830 ns/op	   27202 B/op	     623 allocs/op
Layer-10-Size-1-PB          	    1000	     17232 ns/op	    9280 B/op	     264 allocs/op
Layer-10-Size-1-MSGP        	    1000	     32549 ns/op	   15208 B/op	     431 allocs/op
Layer-10-Size-1-FLAT        	    1000	     20.79 ns/op	      13 B/op	       0 allocs/op

# 层级为100时
Layer-100-Size-1-JSON       	    1000	    351715 ns/op	  111428 B/op	    2422 allocs/op
Layer-100-Size-1-GOB        	    1000	    183746 ns/op	  172531 B/op	    3509 allocs/op
Layer-100-Size-1-PB         	    1000	    162784 ns/op	   92208 B/op	    2604 allocs/op
Layer-100-Size-1-MSGP       	    1000	    315320 ns/op	  172416 B/op	    4125 allocs/op
Layer-100-Size-1-FLAT       	    1000	     88.75 ns/op	     120 B/op	       1 allocs/op

场景2：切片长度逐渐增长

设定一个[]Layer10，Layer10 只有一层，不做嵌套。切片中对象的数量逐渐增长

性能

image.png
与层级增长的情况一致，在对象简单时（列表长度不超过 15 个时），gob 的性能不是很好，甚至比 json 更差；但在对象复杂度很高时，gob 的性能优势才能体现出来。
性能排名：FLAT > PB > GOB > MSGP > JSON

内存使用率

image.png
结论同场景 1 一致

编码后大小

image.png
结论同场景 1 一致
不同数量级时的性能表现：

# 层级为1时
Layer-1-Size-1-JSON         	    1000	      3903 ns/op	    1384 B/op	      34 allocs/op
Layer-1-Size-1-GOB          	    1000	     23681 ns/op	   13267 B/op	     333 allocs/op
Layer-1-Size-1-PB           	    1000	      1614 ns/op	    1000 B/op	      30 allocs/op
Layer-1-Size-1-MSGP         	    1000	      4010 ns/op	    2040 B/op	      59 allocs/op
Layer-1-Size-1-FLAT         	    1000	     7.458 ns/op	       1 B/op	       0 allocs/op

# 层级为10时
Layer-1-Size-10-JSON        	    1000	     37965 ns/op	   11592 B/op	     256 allocs/op
Layer-1-Size-10-GOB         	    1000	     40962 ns/op	   27205 B/op	     623 allocs/op
Layer-1-Size-10-PB          	    1000	     16340 ns/op	    9280 B/op	     264 allocs/op
Layer-1-Size-10-MSGP        	    1000	     31643 ns/op	   15208 B/op	     431 allocs/op
Layer-1-Size-10-FLAT        	    1000	     14.50 ns/op	      13 B/op	       0 allocs/op

# 层级为100时
Layer-1-Size-100-JSON       	    1000	    388890 ns/op	  111420 B/op	    2422 allocs/op
Layer-1-Size-100-GOB        	    1000	    190858 ns/op	  172533 B/op	    3509 allocs/op
Layer-1-Size-100-PB         	    1000	    166676 ns/op	   92208 B/op	    2604 allocs/op
Layer-1-Size-100-MSGP       	    1000	    309114 ns/op	  172416 B/op	    4125 allocs/op
Layer-1-Size-100-FLAT       	    1000	     85.62 ns/op	     120 B/op	       1 allocs/op

分析

不管是嵌套层级数增加还是切片长度增加，整体趋势改变不大。各序列化方案的差异会随着对象复杂度的增加而拉大。
单从性能角度考虑，flatbuffers 的性能很好，原因是 flatbuffers 是直接向 ByteBuffer 里塞字节流的，就省掉了反射的步骤。但这样就牺牲了易用性。编写代码时，连set字段值的顺序都有非常严格的要求。这对研发的要求太高了，可能会导致很多问题。像这种极端难用的，除非有非常迫切的性能需要，否则肯定是不建议使用的。
综合考虑各方面因素，ProtoBuf 脱颖而出，但唯一不好的就是要写 IDL。是否可以通过二次开发或者包装工具的方式来抹平 IDL 带来的缺点。

Gob 从性能和 I/O 带宽占用上都和 ProtoBuf 差不多，唯一劣势是编解码时内存占用较多。考虑到不用再写IDL带来的易用性，在「只使用 Go 语言」的背景下，Gob 是更合适的选择。

大海梦想
关注
专栏目录
Go必知必会系列：数据序列化与JSON
AI天才研究院
10-23 82
作者：禅与计算机程序设计艺术 1.背景介绍 数据序列化（Serialization）和反序列化（Deserialization），即将一个数据结构或对象转换成可存储或传输的形式称之为数据序列化和反序列化。序列化和反序列化在分布式计算、网络通信、缓存、持久化等方面都扮演着重要的角色。其目的是为了在不同
Go 序列化
weixin_40123451的博客
10-13 791
摘要 encoding/json# encoding/json是官方提供的标准json, 实现RFC 7159中定义的JSON编码和解码。使用的时候需要预定义struct，原理是通过reflection和interface来完成工作, 性能低。 常用的接口： func Marshal(v interface{}) ([]byte, error)生成JSON func Unmarshal(data []byte, v interface{}) error解析JSON到struct 示例1生...
推荐开源项目：基于Google Protobuf的多格式序列化神器
gitblog_00088的博客
08-24 824
推荐开源项目：基于Google Protobuf的多格式序列化神器 protobuf-java-formatProvide serialization and de-serialization of different formats based on Google’s protobuf Message. Enables overriding the default (byte array) o...
Go的序列化：将数据（比如：结构体，map，切片，基本类型）序列化成json字符串 (Golang经典编程案例)
热门推荐
数据知道的博客
07-03 4万+
介绍：json序列化是指，将有 key-value 结构的数据类型（比如结构体，map，切片）序列化成json字符串的操作。 下面分别演示结构体，map，切片，基本类型序列化成json字符串。 案例1：结构体的序列化 package main import ( "fmt" "encoding/json" ) //定义一个结构体 type Hero struct{ Name string ...
go 序列化和反序列化
王飞的博客
11-06 428
go 序列化和反序列化的概念 go json序列化----就是将go对象,例如map对象转化成json格式字符串这种操作，就是go json序列化。 go json反序列化----就是将go json字符串转换成go中 map对象的形式，就是go json反序列化。 example-01 package main import ( "encoding/json" "fmt" ) typ...
go 序列化与反序列化
go|Python的个人博客
08-01 1301
如果一个JSON值不匹配给出的目标类型，或者如果一个json数字写入目标类型时溢出，Unmarshal函数会跳过该字段并尽量完成其余的解码操作。JSON的null值解码为go的接口、指针、切片时会将它们设为nil，因为null在json里一般表示“不存在”。要将json数据解码写入一个结构体，函数会匹配输入对象的键和Marshal使用的键（结构体字段名或者它的标签指定的键名），优先选择精确的匹配，但也接受大小写不敏感的匹配。接口类型的值编码为接口内保持的具体类型的值（的json编码）。......
重点来了！RPC和HTTP什么时候需要序列化？什么时候不需要序列化？
m0_72101998的博客
06-18 1523
大家好，我是热心网友 —— 小林。有位读者问了，我这么一个问题：不管是 RPC 或者 HTTP，只要传输的内容是「对象」，要想在接收方还原出一摸一样的「对象」，那就需要序列化和反序列化。RPC 能帮助我们的应用透明地完成远程调用，即调用其他服务器的函数就像调用本地方法一样。发起调用请求的那一方叫做调用方，被调用的一方叫做服务提供方。调用方和服务提供方一般是不同的服务器，所以就需要通过网络来传输数据，并且 RPC 常用于业务系统之间的数据交互，需要保证其可靠性，所以 RPC 一般默认采用 TCP 协议来传输。
Go-各种传输二进制数据编码格式的Golang示例与比较
08-13
- **简介**：protobuf是由Google开发的一种高效的数据序列化协议，它定义了一种结构化的数据表示方式，然后将这些数据转换为二进制格式，以减少存储和传输的开销。 - **Go中的使用**：Go的protobuf支持通过`protoc...
阿里一面灵魂一问：RPC或者HTTP什么时候需要序列化和反序列化？
m0_67645544的博客
03-05 913
大家好，我是热心网友 —— 小林。 有位读者问了，我这么一个问题： 不管是 RPC 或者 HTTP，只要传输的内容是「对象」，要想在接收方还原出一摸一样的「对象」，那就需要序列化和反序列化。 那什么是序列化和反序列化呢？ RPC 能帮助我们的应用透明地完成远程调用，即调用其他服务器的函数就像调用本地方法一样。发起调用请求的那一方叫做调用方，被调用的一方叫做服务提供方。 调用方和服务提供方一般是不同的服务器，所以就需要通过网络来传输数据，并且 RPC 常用于业务系统之间的数据交互，需要保
数据序列化与反序列化：***mon.io库的5个序列化工具
![数据序列化与反序列化：***mon.io库的5个序列化工具]...本章将介绍序列化与反序列化的基本概念，为理解后续章节中特定序列化工具的机制和应用打下坚实的
Go语言开发Web应用实战——这本书介绍了如何用Golang开发Web应用，涵盖从基础概念到实践应用等内容
AI天才研究院
07-29 1268
2019年是第四个十年科技革命的开端，也是Golang被广泛应用的一个年份。这几年，Golang的热度不断提升，在开源社区及企业内部也出现了一批拥抱Go的优秀人员。每当我听到有人宣传“Golang开发更快、更安全、更高效”，或者推荐“Go语言入门”时，都会觉得不可思议。Golang作为新一代的编程语言，非常适合用来开发复杂的分布式系统，但同时它也非常简单易懂，可以轻松地学习掌握。在本书中，你将从零开始构建一个完整的基于Golang+Vue.js+MySQL Web应用程序。
Go-Go非常快非常不安全的序列化
08-13
Go非常快,非常不安全的序列化
Go语言中的序列化：原理、实现和应用
AI天才研究院
07-22 1882
作者：禅与计算机程序设计艺术 随着互联网web服务的发展，数据层面的需求也越来越复杂，这就要求开发者对数据的存储和交换进行更好的处理。数据存储方案无疑成为影响系统性能和可靠性的一大关键因素。在分布式系统中，数据需要在不同节点间进行传输，因此数据传输方案不可避免地涉及到序列化和反序列化过程。 序列化即将对象转化为字节流或者字符
Go语言的序列化与反序列化（binary） BigEndian LittleEndian
雪花凌落的盛夏
12-06 1101
binary包实现了简单的数字与字节序列的转换以及变长值的编解码。 数字翻译为定长值来读写，一个定长值，要么是固定长度的数字类型（int8, uint8, int16, float32, complex64, ...）或者只包含定长值的结构体或者数组。 变长值是使用一到多个字节编码整数的方法，绝对值较小的数字会占用较少的字节数。详情请参见：http://code.google.com/apis/protocolbuffers/docs/encoding.html。 本包相对于效率更注重简单。如果需要高
go语言序列化及反序列化
我的梦
06-19 6618
参考文章： go 官方package: https://blog.golang.org/json 特别好的文章：理解 Go 中的 JSON JSON是一种轻量级的数据交换格式，常用在前后端数据交换，go的 encoding/json 提供了对json的支持 一、序列化 GO提供了 Marshal 方法：Go Struct转换为JSON对象，函数签名： func Marshal(v interface{}) ([]byte, error) 举例： type Person struct { Name .
go中的序列化和反序列化
xionglaine的博客
02-15 241
序列化： // 序列化 package main import( "fmt" "encoding/json" ) type Monster struct{ Name string `json:"monster_name"` // 反射机制 Age int Birthday string Sal float64 skill string } func testStruct...
Go 语言 序列化、反序列化的使用
Fe_cow的博客
02-24 1223
Go 语言 序列化、反序列化的使用 一、结构体的操作: 1. 结构体序列化： package main import ( "encoding/json" "fmt" ) // 定义一个结构体 type Monster struct { Name string Age int Birthday string Sal float64 } // 演示结构体进行序列化 func test...
Go 1.19.4 序列化和反序列化-Day 16
最新发布
qq_42515722的博客
09-23 777
本章主要介绍json序列化和反序列化。
go语言中序列化与反序列化
weixin_45533687的博客
05-10 317
go语言中序列化与反序列化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值