再测Golang JSON类库

最新推荐文章于 2024-06-13 22:15:00 发布
最新推荐文章于 2024-06-13 22:15:00 发布
阅读量120 收藏
点赞数
文章标签： json golang
原文链接：https://yq.aliyun.com/articles/516961
版权

写项目一直需要进行序列化，听到了，也看到了很多同学老师对各个golang的json库进行测评。那本人为什么还要继续进行这一次测评呢？
因为实践过的知识最有说服力，也是属于自己的，我也希望看到本博文的同学老师可以修改和执行测评的代码执行一遍，我相信会有不一定的体会。
本次测评我选择了类库有：

类库

序号类库地址备注
1encoding/jsonGolan
2easyjsongithub.com/mailru/easyjson
3ffjsongithub.com/mailru/easyjson
4iterator/jsongithub.com/json-iterator/go

主要是针对上述的类型进行，本人采用了对不同的类库使用不同的结构体（仅仅是结构体名称不同，字段顺序和类型一样）。

环境

环境为MacBook Pro（Core i5处理器/8GB内存）go1.8.3 darwin/amd64

代码

bench代码如下：

package jsonbench

import (
    "encoding/gob"

    "encoding/json"
    "github.com/json-iterator/go"
    "github.com/mailru/easyjson"
    "github.com/pquerna/ffjson/ffjson"
    "testing"
)

var (
    iterator = jsoniter.ConfigCompatibleWithStandardLibrary
    // easyjson
    as = AgentService{
        ServiceName:    "kaleidoscope_api",
        Version:        "1517558949087295000_1298498081",
        ServiceId:      "kaleidoscope_kaleidoscope.dev.igetget.com_v1.2",
        Address:        "kaleidoscope.dev.igetget.com",
        Port:           80,
        Metadata:       map[string]string{},
        ConnectTimeOut: 1000,
        ConnectType:    "LONG",
        ReadTimeOut:    1000,
        WriteTimeOut:   1000,
        Protocol:       "HTTP",
        Balance:        "Random",
        Idcs:           "hu,hd,hn",
        Converter:      "json",
        Retry:          3,
    }
    service            = as.ToService()
    asBytes, _         = json.Marshal(as)
    serviceBytes, _    = json.Marshal(service)
    asStr              = string(asBytes)
    serviceStr         = string(serviceBytes)
    asGonBytes, _      = GobEncode(as)
    serviceGonBytes, _ = GobEncode(service)
    // std
    asstd = AgentServiceSTD{
        ServiceName:    "kaleidoscope_api",
        Version:        "1517558949087295000_1298498081",
        ServiceId:      "kaleidoscope_kaleidoscope.dev.igetget.com_v1.2",
        Address:        "kaleidoscope.dev.igetget.com",
        Port:           80,
        Metadata:       map[string]string{},
        ConnectTimeOut: 1000,
        ConnectType:    "LONG",
        ReadTimeOut:    1000,
        WriteTimeOut:   1000,
        Protocol:       "HTTP",
        Balance:        "Random",
        Idcs:           "hu,hd,hn",
        Converter:      "json",
        Retry:          3,
    }
    servicestd            = asstd.ToServiceSTD()
    asBytesstd, _         = json.Marshal(asstd)
    serviceBytesstd, _    = json.Marshal(servicestd)
    asStrstd              = string(asBytesstd)
    serviceStrstd         = string(serviceBytesstd)
    asGonBytesstd, _      = GobEncode(asstd)
    serviceGonBytesstd, _ = GobEncode(servicestd)
)

// go test -bench=".*"
func init() {
    gob.Register(AgentService{})
}

func Benchmark_STD_Marshal1(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := json.Marshal(asstd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_STD_Marshal2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := json.Marshal(servicestd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_STD_Marshal1(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := json.Marshal(as)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_STD_Marshal2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := json.Marshal(service)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_Marshal1(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := easyjson.Marshal(as)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_Marshal2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := easyjson.Marshal(service)
        if err != nil {
            b.Error(err)
        }
    }
}

//
func Benchmark_ITERATOR_Marshal1(b *testing.B) {

    for i := 0; i < b.N*10; i++ {
        _, err := iterator.Marshal(asstd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_ITERATOR_Marshal2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := iterator.Marshal(servicestd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_FFJSON_Marshal1(b *testing.B) {

    for i := 0; i < b.N*10; i++ {
        _, err := ffjson.Marshal(asstd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_FFJSON_Marshal2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        _, err := ffjson.Marshal(servicestd)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_GOB_Encode1(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        GobEncode(as)
    }
}

func Benchmark_GOB_Encode2(b *testing.B) {
    for i := 0; i < b.N*10; i++ {
        GobEncode(service)
    }
}

func Benchmark_STD_Unmarshal1(b *testing.B) {
    tmp := AgentServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := json.Unmarshal(asBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_STD_Unmarshal2(b *testing.B) {
    tmp := ServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := json.Unmarshal(serviceBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_STD_Unmarshal1(b *testing.B) {
    tmp := AgentService{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := json.Unmarshal(asBytes, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_STD_Unmarshal2(b *testing.B) {
    tmp := Service{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := json.Unmarshal(serviceBytes, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_Unmarshal1(b *testing.B) {
    tmp := AgentService{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := easyjson.Unmarshal(asBytes, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_EASYJSON_Unmarshal2(b *testing.B) {
    tmp := Service{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := easyjson.Unmarshal(serviceBytes, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_ITERATOR_UnMarshal1(b *testing.B) {

    tmp := ServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := iterator.Unmarshal(serviceBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_ITERATOR_UnMarshal2(b *testing.B) {
    tmp := ServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := iterator.Unmarshal(serviceBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_FFJSON_UnMarshal1(b *testing.B) {

    tmp := ServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := ffjson.Unmarshal(serviceBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_FFJSON_UnMarshal2(b *testing.B) {
    tmp := ServiceSTD{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        err := ffjson.Unmarshal(serviceBytesstd, &tmp)
        if err != nil {
            b.Error(err)
        }
    }
}

func Benchmark_GOB_Decode1(b *testing.B) {
    tmp := AgentService{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        GobDecode(asGonBytes, &tmp)
    }
}

func Benchmark_GOB_Decode2(b *testing.B) {
    tmp := Service{}
    for i := 0; i < b.N*10; i++ {
        as.Port = i
        GobDecode(serviceGonBytes, &tmp)
    }
}

执行命令：

go test -bench=".*"

测评结果;

$ go test -bench=".*"
Benchmark_STD_Marshal1-4                   50000             31224 ns/op
Benchmark_STD_Marshal2-4                   30000             49598 ns/op
Benchmark_EASYJSON_STD_Marshal1-4          30000             45778 ns/op
Benchmark_EASYJSON_STD_Marshal2-4          30000             50440 ns/op
Benchmark_EASYJSON_Marshal1-4             100000             14387 ns/op
Benchmark_EASYJSON_Marshal2-4             100000             16009 ns/op
Benchmark_ITERATOR_Marshal1-4             100000             14899 ns/op
Benchmark_ITERATOR_Marshal2-4             100000             21629 ns/op
Benchmark_FFJSON_Marshal1-4                50000             31633 ns/op
Benchmark_FFJSON_Marshal2-4                30000             51668 ns/op
Benchmark_GOB_Encode1-4                    20000             97099 ns/op
Benchmark_GOB_Encode2-4                    10000            153158 ns/op
Benchmark_STD_Unmarshal1-4                 20000             89211 ns/op
Benchmark_STD_Unmarshal2-4                 20000             76442 ns/op
Benchmark_EASYJSON_STD_Unmarshal1-4        30000             57695 ns/op
Benchmark_EASYJSON_STD_Unmarshal2-4        20000             66269 ns/op
Benchmark_EASYJSON_Unmarshal1-4           100000             19028 ns/op
Benchmark_EASYJSON_Unmarshal2-4           100000             22035 ns/op
Benchmark_ITERATOR_UnMarshal1-4            50000             35942 ns/op
Benchmark_ITERATOR_UnMarshal2-4            50000             36462 ns/op
Benchmark_FFJSON_UnMarshal1-4              20000             80290 ns/op
Benchmark_FFJSON_UnMarshal2-4              20000             78431 ns/op
Benchmark_GOB_Decode1-4                     3000            377698 ns/op
Benchmark_GOB_Decode2-4                     3000            463472 ns/op
PASS
ok      studygo/jsonbench       49.174s

结论

  1. 哪一个类库最快？ 
    答：是测评类库中最快的。速度：easyjson => iterator => encoding/json => ffjson
  2. 是否存在坑？ 
    答：easyjson有一个坑，从代码中可以看到Benchmark_EASYJSON_STD_*的方法，是因为easyjson生成的代码中已经包含了MarshalJSON和UnmarshalJSON方法，那么只要对这些结构体执行json.marshalJSON和json.UnmarshalJSON都会默认调用easyjson生成的方法。本人运行多次，都会发现调用easyjson生成的MarshalJSON方法比标准库中的慢一些达到50%左右，但是调用easyjson生成的UnmarshalJSON比标准库的快一些大概20%。
  3. 如何选择？ 
    答：easyjson速度虽然比较快，但也是存在一些不适合的场景，比如如果需要对interface接口进行序列化时候。所以建议采用easyjson与标准库结合。
本文转自 梦朝思夕 51CTO博客，原文链接:http://blog.51cto.com/qiangmzsx/2070603

weixin_33709609
关注
golang json.Marshal 特殊html字符被转义的解决方法
09-18
这些字符在被json.Marshal函数处理时会被自动转义，转义规则如下：小于号（<）转义为“\u003c”，大于号（>）转义为“\u003e”，和号（&）转义为“\u0026”。这种转义是为了防止JSON数据被错误地解析为HTML，尤其是...
Go语言中的JSON库简介
ThinkStu的博客
07-15 1249
Go 标准库中的包提供了 JSON 数据的编码和解码功能。在日常开发中，我们主要使用的函数有解析字符串类型的和，以及处理流式 JSON 数据的和。
Golang的json解析--Gjson库的使用举例
最新发布
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
06-13 2295
在 Golang 中，解析 JSON 数据是一项非常常见的任务。Go提供了标准的JSON包，可以轻松地将JSON数据序列化和反序列化。但是，在使用标准JSON包解析大型复杂JSON结构时，可能存在些许不足，例如代码冗余，性能瓶颈等问题。针对这些问题，目前有许多优秀的JSON解析框架，GJSON是其中一个很不错的选择。本文将详细讲解如何使用GJSON框架解析JSON数据。
Go语言学习笔记—golang标准库json包
qq_39280718的博客
07-14 1119
json包可以实现json的编码和解码，就是将json字符串转换为struct，或者将struct转换为json。
golang中encodingjson库
wang2leee的博客
09-06 236
是Go语言标准库中的一个包，提供了对JSON格式数据的编码和解码功能。该库可以将Go数据结构转换为JSON格式，并将JSON格式数据解析为Go数据结构。
Go 语言 JSON 简介
johnhuster的专栏
09-17 1111
Go 语言 JSON 简介
gojson:一个快速简单的 golang JSON 序列化器
05-31
GoJSON GoJSON是一个快速而简单的包，用于在 json 中编组/解组结构体。 您可以使用GoJSON工具生成编组/解组代码，在基准测试中， GoJSON的生成代码几乎比encoding/json快 6~7 倍。例子# install go get - u - v ...
golang json[]
01-08
golang 的json库利用反射机制，能很方便处理结构体与json字串之间的转换。  json数组格式： [ { riskType: [ 2, 3 ], uid: 74f6881b-6e2d-4bf5-8671-f2dedd4b226c, level: 4, ip: 110.213.0.151...
Golang JSON的进阶用法实例讲解
01-03
json 是当前最常用的数据传输格式之一，纯文本，容易使用，方便阅读，在通信过程中大量被使用。  你是否遇到过json中某个字段填入某种类型都适合而陷入两难境地? (例如：定义了一个port字段，你却不知道是填入 8080...
golang json性能分析详解
09-20
json格式可以算我们日常最常用的序列化格式之一了，Go语言作为一个由Google开发，号称互联网的C语言的语言，自然也对JSON...下面这篇文章主要给大家详细分析介绍了golang json性能的相关资料，需要的朋友可以参考下。
涂鸦：一个很小的Golang JSON数据库
02-03
涂 Golang中的一个小型JSON数据库 安装 使用go get github.com/sdomino/scribble安装。 用法 // a new scribble driver, providing the directory where it will be writing to, // and a qualified logger if desired db , err := scribble . New ( dir , nil ) if err != nil { fmt . Println ( "Error" , err ) } // Write a fish to the
golang json库的使用
博客
01-09 1652
文章目录json库基本介绍序列化与反序列化tag的使用别名omitempty 字段可空时间相关的问题问题描述解决方案 json库基本介绍 对象在网络中是通过字节数组来进行传递的，在日常的前后端交互中，有可能会用到会有多种的形式，比如json，xml，pb等。这篇文章主要介绍一下golang语言中json相关库的日常用法 序列化与反序列化 序列化是指把内存中的对象转为字节数组的过程，方便在网络中传输，反序列化则相反，golang中涉及到的两个函数，包的位置：“encoding/json” package js
Golang 操作 JSON 时容易踩的 7 个坑
JNPF 专注低代码开发
05-13 1158
JSON 是很多开发者工作中经常使用的数据格式，一般多用于配置文件或网络数据传递之类的场景。并且由于其简单易懂，可读性较好等特点，JSON 也成为了整个 IT 世界几乎最常见的格式之一了。对于这样的东西，Golang 和其他很多语言一样，也提供了标准库级别的支持，也就是。就像 JSON 本身简单易懂一样，用于操作 JSON 的库也非常容易上手。但我相信许多小伙伴可能和我当初刚使用这个库时一样，都遇到过各种奇奇怪怪的问题或 bug。
GoLang之标准库encoding/json包
weixin_52690231的博客
04-09 2295
GoLang之encoding/json包
golang之JSON处理
农家小舍
01-15 7394
介绍了JSON的序列化与反序列化，以及如何自定义序列化（MarshalJSON）与反序列化（UnmarshalJSON）方法；开优酷go-simplejson的使用方法
go json技巧以及强大的三方json库（jsoniter）
General_zy的博客
05-28 4110
内置的json包不识别我们常用的字符串时间格式= nil {为某个类型实现了MarshalJSON()([]byte, error)和UnmarshalJSON(b []byte) error方法，那么这个类型在序列化（MarshalJSON）/反序列化（UnmarshalJSON）时就会使用你定制的相应方法。
golang流式json解析库
chen802311的专栏
05-24 508
比如LLM返回json格式的流式接口，正常情况下json数据没有收集完是不能正常解析的，但是一直等接口流式数据接收完成可能会是几秒甚至十几秒调用界面一直卡着体验极差，如果可以实时的展示收到的内容那是极好的。此工具库用于流式json数据解析。
推荐开源项目： Scribble - 轻量级Golang JSON数据库
gitblog_00083的博客
05-25 394
推荐开源项目： Scribble - 轻量级Golang JSON数据库 scribbleA tiny Golang JSON database项目地址:https://gitcode.com/gh_mirrors/scrib/scribble 项目介绍 Scribble 是一个非常小巧的JSON数据库实现，完全用Golang编写。它的设计目标是提供一种简单且高效的方式来存储和检索JSON格式的...
26、golang中的json库
weixin_36020178的博客
06-03 594
1、json.Marshal 2、json.Unmarshal
golang Jsondecode
06-01
在 Golang 中，你可以使用标准库中的 `encoding/json` 包来解码 JSON 数据。具体步骤如下： 1. 定义一个结构体来存储解码后的数据，结构体的字段名需要与 JSON 数据中的字段名一致。 ```go type User struct { ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值