深度比较常见库中序列化和反序列化性能的性能差异

最新推荐文章于 2024-04-17 10:09:28 发布

溪源More

最新推荐文章于 2024-04-17 10:09:28 发布

阅读量234

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzU2OTY3MTYzOA==&mid=2247491807&idx=1&sn=a856bd6fa6e73cfd8216bf5cde9d9662&chksm=fcf98a66cb8e0370d1adc961d15bd3d1cf613b3e7e81ba855cb101816e3576b4390cfe054fd8&scene=126&sessionid=0

版权

背景和目的

本文介绍了几个常用的序列化和反序列化库，包括System.Text.Json、Newtonsoft.Json、 Protobuf-Net、MessagePack-Net，我们将对这些库进行性能测评

库名称	介绍	Github地址
System.Text.Json	.NET Core 3.0及以上版本的内置JSON库，用于读写JSON文本。它提供了高性能和低分配的功能。	System.Text.Json
Newtonsoft.Json	也被称为Json.NET，是.NET中最常用的JSON序列化库之一。它提供了灵活的方式来转换.NET对象为JSON字符串，以及将JSON字符串转换为.NET对象。	Newtonsoft.Json
Protobuf-Net	.NET版本的Google's Protocol Buffers序列化库。Protocol Buffers是一种语言中立、平台中立、可扩展的序列化结构数据的方法。	Protobuf-Net
MessagePack-Net	MessagePack是一个高效的二进制序列化格式，它允许你在JSON-like的格式中交换数据，但是更小、更快、更简单。	MessagePack-Net

性能测试

测评电脑配置

组件	规格
CPU	11th Gen Intel(R) Core(TM) i5-11320H
内存	40 GB DDR4 3200MHz
操作系统	Microsoft Windows 10 专业版
电源选项	已设置为高性能
软件	LINQPad 7.8.5 Beta
运行时	.NET 7.0.10

准备工作

0、导入Nuget包

1、Bogus(34.0.2)
2、MessagePack(2.5.124) 3、Newtonsoft.Json(13.0.3)
4、protobuf-net(3.2.26)
5、System.Reactive(6.0.0)

1、性能测试函数

IObservable<object> Measure(Action action, int times = 5)
{
    return Enumerable.Range(1, times).Select(i =>
    {
        var sw = Stopwatch.StartNew();
        long memory1 = GC.GetTotalMemory(true);
        long allocate1 = GC.GetTotalAllocatedBytes(true);
        {
            action();
        }
        long allocate2 = GC.GetTotalAllocatedBytes(true);
        long memory2 = GC.GetTotalMemory(true);
        sw.Stop();
        return new
        {
            次数 = i,
            分配内存 = (allocate2 - allocate1).ToString("N0"),
            内存提高 = (memory2 - memory1).ToString("N0"),
            耗时 = sw.ElapsedMilliseconds,
        };
    }).ToObservable();
}

这个测量函数的它的作用

多次执行指定的动作，并测量每次执行该动作时的内存分配和执行时间。

然后，对于每次操作，它创建并返回一个新的匿名对象，该对象包含以下属性：

次数：操作的次数。
分配内存：操作期间分配的内存量（操作结束后的已分配字节减去操作开始前的已分配字节）。
内存提高：操作期间内存的增加量（操作结束后的总内存减去操作开始前的总内存）。
耗时：操作的执行时间（以毫秒为单位）。

2、生成随机数据的函数

IEnumerable<User> WriteData()
{
    var data = new Bogus.Faker<User>()
        .RuleFor(x => x.Id, x => x.IndexFaker + 1)
        .RuleFor(x => x.Gender, x => x.Person.Gender)
        .RuleFor(x => x.FirstName, (x, u) => x.Name.FirstName(u.Gender))
        .RuleFor(x => x.LastName, (x, u) => x.Name.LastName(u.Gender))
        .RuleFor(x => x.Email, (x, u) => x.Internet.Email(u.FirstName, u.LastName))
        .RuleFor(x => x.BirthDate, x => x.Person.DateOfBirth)
        .RuleFor(x => x.Company, x => x.Person.Company.Name)
        .RuleFor(x => x.Phone, x => x.Person.Phone)
        .RuleFor(x => x.Website, x => x.Person.Website)
        .RuleFor(x => x.SSN, x => x.Person.Ssn())
        .GenerateForever().Take(6_0000);
    return data;
}

Bogus 是一个非常有用的 C# 库，它可以帮助你生成伪造的数据，或者说“假数据”。这在测试或开发阶段非常有用，你可以使用它来填充数据库，或者在没有实际用户数据的情况下测试应用程序。

如果想详细了解使用请参考这篇文章https://www.cnblogs.com/sdflysha/p/20190821-generate-lorem-data.html

3、数据实体类

[MessagePackObject, ProtoContract]
public class User
{
    [Key(0), ProtoMember(1)]
    public int Id { get; set; }
    [Key(1), ProtoMember(2)]
    public int Gender { get; set; }
    [Key(2), ProtoMember(3)]
    public string FirstName { get; set; }
    [Key(3), ProtoMember(4)]
    public string LastName { get; set; }
    [Key(4), ProtoMember(5)]
    public string Email { get; set; }
    [Key(5), ProtoMember(6)]
    public DateTime BirthDate { get; set; }
    [Key(6), ProtoMember(7)]
    public string Company { get; set; }
    [Key(7), ProtoMember(8)]
    public string Phone { get; set; }
    [Key(8), ProtoMember(9)]
    public string Website { get; set; }
    [Key(9), ProtoMember(10)]
    public string SSN { get; set; }
}

开始性能测试

以下测试代码会加入写入文件，以模拟真实的使用场景，性能怎么样

1、System.Text.Json 性能测试

序列化测试代码

void TextJsonWrite()
{
    var data = WriteData();
    Measure(() =>
        {
            string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
            using var file = File.Create(path);
            System.Text.Json.JsonSerializer.Serialize(file,data);
        })
    .Dump();
}

文件大小：14.3MB

测试结果

次数	分配内存	内存提高	耗时
1	1,429,688,200	67,392	2494
2	1,429,960,352	320	2610
3	1,429,596,256	8	2615
4	1,430,126,504	-64	2753
5	1,429,549,184	-432	2918

反序列化测试代码

void TextJsonRead()
{
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
        byte[] bytes = File.ReadAllBytes(path);
        System.Text.Json.JsonSerializer.Deserialize<List<User>>(bytes);
    }).Dump();
}

测试结果

次数	分配内存	内存提高	耗时
1	42,958,536	43,728	212
2	43,093,448	48	185
3	42,884,408	24	120
4	42,883,312	24	129
5	43,100,896	24	117

2、Newtonsoft.Json 性能测试

序列化测试代码

void JsonNetWrite()
{
    var data = WriteData();
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
        var jsonData = Newtonsoft.Json.JsonConvert.SerializeObject(data);
        File.WriteAllText(path, jsonData);
    })
    .Dump();
}

文件大小：14.3MB

测试结果

次数	分配内存	内存提高	耗时
1	1,494,035,696	42,608	2196
2	1,494,176,144	320	2289
3	1,494,684,672	-24	2899
4	1,494,292,376	2,152	3393
5	1,495,260,472	64	3499

反序列化测试代码

void JsonNetRead()
{
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
        var jsonData = File.ReadAllText(path);
        var data = Newtonsoft.Json.JsonConvert.DeserializeObject<List<User>>(jsonData);
    })
    .Dump();
}

测试结果

次数	分配内存	内存提高	耗时
1	92,556,920	63,216	275
2	92,659,784	48	314
3	92,407,736	24	245
4	92,616,912	24	276
5	92,416,128	24	305

3、ProtobufNet 性能测试

序列化测试代码

void ProtobufNetWrite()
{
    var data = WriteDataTwo();
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
        using var file = File.Create(path);
        Serializer.Serialize(file, data);
    }).Dump();
}

文件大小：7.71MB

测试结果

次数	分配内存	内存提高	耗时
1	712,168	163,512	170
2	6,760	-192	111
3	7,040	280	97
4	6,760	24	66
5	244,200	0	68

反序列化测试代码

void ProtobufNetRead()
{
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
        using var file = File.OpenRead(path);
        Serializer.Deserialize<List<UserProtobuf>>(file);
    }
    ).Dump();
}

测试结果

次数	分配内存	内存提高	耗时
1	29,485,888	1,084,240	113
2	28,242,856	48	96
3	28,340,672	24	85
4	28,333,088	24	80
5	28,242,856	24	76

4、MessagePack-Net 性能测试

序列化测试代码

void MessagePackNetWrite()
{
    var data = WriteDataThreee();
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
        using var file = File.Create(path);
        MessagePackSerializer.Serialize(file, data);
    }).Dump();
}

文件大小：7.21MB

测试结果

次数	分配内存	内存提高	耗时
1	80,552	9,512	52
2	7,432	24	46
3	7,432	24	45
4	120,400	-1,072	46
5	7,432	24	48

反序列化测试代码

void MessagePackNetRead()
{
    Measure(() =>
    {
        string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
        byte[] bytes = File.ReadAllBytes(path);
        MessagePackSerializer.Deserialize<List<UserMessagePack>>(bytes);
    }).Dump();
}

测试结果

次数	分配内存	内存提高	耗时
1	35,804,728	24	82
2	35,804,728	24	65
3	35,804,728	24	56
4	35,804,728	32	66
5	35,806,248	848	80

结论

序列化性能测试结果

性能测试名称	分配内存平均数 (bytes)	耗时平均数 (ms)	文件大小 (MB)	分配内存百分比 (%)	耗时百分比 (%)	文件大小百分比 (%)
Newtonsoft.Json	1,494,489,872	2,855	14.3	100	100	100
System.Text.Json	1,429,784,099	2,678	14.3	95	93.8	100
ProtobufNet	195,385	102	7.71	0.013	3.5	53.9
MessagePack-Net	44,649	47	7.21	0.0029	1.6	50.4

反序列化性能测试结果

性能测试名称	分配内存平均数 (bytes)	耗时平均数 (ms)	分配内存百分比 (%)	耗时百分比 (%)
Newtonsoft.Json	92,531,496	283	100	100
System.Text.Json	42,807,420	152	46.2	54.7
ProtobufNet	28,529,072	90	30.8	31.8
MessagePack-Net	35,805,032	69	38.6	24.3

注：

1、分配内存比例、耗时比例和文件大小比例都以 Newtonsoft.Json 的数值为基准，计算出的百分比表示在相比于 Newtonsoft.Json 的表现。
2、分配内存平均数、耗时平均数是通过将给定的五次测试结果取平均值得出的。
3、文件大小是由测试代码生成的文件大小，计算出的百分比表示在相比于 Newtonsoft.Json 的表现。

基于上述表格，我们可以得出以下结论：

内存分配：在内存分配方面，ProtobufNet 和 MessagePack-Net 显著优于 System.Text.Json 和 Newtonsoft.Json。它们的内存分配仅为 Newtonsoft.Json 的 0.01% 和 0.003%，这表明它们在处理大数据时的内存效率非常高。
耗时：在耗时方面，ProtobufNet 和 MessagePack-Net 也表现出超过其他两个库的性能。ProtobufNet 的耗时为 Newtonsoft.Json 的 3.6%，而 MessagePack-Net 的耗时仅为 2.1%。这意味着它们在处理大量数据时的速度非常快。
文件大小：在生成的文件大小方面，ProtobufNet 和 MessagePack-Net 的文件大小明显小于 System.Text.Json 和 Newtonsoft.Json。ProtobufNet 和 MessagePack-Net 的文件大小分别为 Newtonsoft.Json 文件大小的 53.9% 和 50.4%。这说明它们的序列化效率更高，能够生成更小的文件。
System.Text.Json vs Newtonsoft.Json：在比较这两个库时，System.Text.Json 在内存分配和耗时方面都稍微优于 Newtonsoft.Json，但差距不大。在文件大小方面，它们的表现相同。

综上所述，如果考虑内存分配、处理速度和文件大小，ProtobufNet 和 MessagePack-Net 的性能明显优于 System.Text.Json 和 Newtonsoft.Json。

5、总结

基于上面的数据，个人一些看法，虽然我们平常用的是Newtonsoft.Json,但了解一些其他一些比较好的库的使用可以扩展视野，本次测试的库虽然加入了写入文件这方面的因素，但对性能影响不是很大，本以为ProtobufNet已经是性能最好的了，但上面的测试结果，显然 MessagePack-Net 性能最好，还有一个意外发现，针对NetCore 6.0，新出的库System.Text.Json性能比Newtonsoft.Json好5%

溪源More

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深度比较常见库中序列化和反序列化性能的性能差异

背景和目的本文介绍了几个常用的序列化和反序列化库，包括System.Text.Json、Newtonsoft.Json、 Protobuf-Net、MessagePack-Net，我们将对这些库进行性能测评库名称介绍Github地址System.Text.Json.NET Core 3.0及以上版本的内置JSON库，用于读写JSON文本。它提供了高性能和低分配的功能。System.Text.Jso...
复制链接

扫一扫