（十八）Protobuf —— 优化序列化，替换 Json

最新推荐文章于 2024-05-29 01:10:27 发布
最新推荐文章于 2024-05-29 01:10:27 发布
阅读量2.7k 收藏 1
点赞数 2
分类专栏： 性能优化 文章标签： Protobuf android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18983205/article/details/89607356
版权

版权声明：本文为博主原创文章，未经博主允许不得转载。
本文纯个人学习笔记，由于水平有限，难免有所出错，有发现的可以交流一下。

一、Protobuf 介绍

google 开源项目。序列化数据结构的方案（Json 、XML 也是），通常用于编写需要数据交换或者需要存储数据的程序。这套方案包含一种用于描述数据结构的接口描述语言（Interface Description Language）和一个生成器，用于生成描述该数据结构的不同编程语言的源代码。

序列化与反序列化：

序列化 ： 将数据结构或对象转换成二进制串的过程

反序列化：将在序列化过程中所生成的二进制串转换成数据结构或者对象的过程

优缺点：
在这里插入图片描述
总结：
Protobuf 比 XML、Json 更小，更快，使用和维护更简单，但是使用范围不够广。

二、Protobuf 使用

我们可以参照 Protobuf 官网 的指南进行尝试。选择 Basics: Java 查看 java 语言的用法。

1. 在 main 文件夹下新建 proto 文件夹。
在这里插入图片描述

2. 在 proto 文件夹下新建 test.proto 文件。
在这里插入图片描述

3. 从官网拷贝 demo 代码到 test.proto 文件。

//使用 proto2，目前有 proto2 和 proto3 这两个版本，他们语法有些不同，内核实现也有所区别。
syntax = "proto2";

package tutorial;

//生成 java 源文件的包名
option java_package = "com.example.tutorial";
//生产 java 源文件的类名
option java_outer_classname = "AddressBookProtos";

//message 相当与 java 的 class
message Person {
  //required 必须设置（不能为null）
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

 //repeated 重复的（也就是指集合）
  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}

这是一段 protobuf 的源文件，我们需要使用 protobuf 的编译器进行编译。

4. 编译 protobuf 代码，这边有两种方案进行编译。

（1）手动编译
手动编译的时候，我们需要先拿到编译器。github 下载地址

在这里插入图片描述
这边下载时 win64 版本，解压出来后，在 bin 目录下有 protoc.exe ，我们使用这个进行编译。
在这里插入图片描述
命令：

protoc -I=生成 java 源文件的目录 --java_out=.  proto源文件

在这里插入图片描述
（这边把 proto.exe 和 test.proto 拷贝到 D：\proto 下面，这个指令是生成 java 的源文件，修改指令，也可以生成其他源文件）

运行结果：
在这里插入图片描述
在 com 包一直往下点，可以发现生成一个 AddressBookProtos.java 的 java 源文件。

（2）使用 AS 插件
使用谷歌提供的 gradle 插件 进行编译。

在项目下的 build.gradle 中添加 classpath。
在这里插入图片描述

classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.8'

在这里插入图片描述

在 app 下的 build.gradle 中引用插件，配置参数，以及进行依赖。
在这里插入图片描述
引用插件：

	apply plugin: 'com.google.protobuf'

配置参数：

protobuf {
  protoc {
    // You still need protoc like in the non-Android case
    artifact = 'com.google.protobuf:protoc:3.0.0'
  }
  plugins {
    javalite {
      // The codegen for lite comes as a separate artifact
      artifact = 'com.google.protobuf:protoc-gen-javalite:3.0.0'
    }
  }
  generateProtoTasks {
    all().each { task ->
      task.builtins {
        // In most cases you don't need the full Java output
        // if you use the lite output.
        remove java
      }
      task.plugins {
        javalite { }
      }
    }
  }
}

进行依赖：

    implementation 'com.google.protobuf:protobuf-lite:3.0.0'

这样 AS 就会自动帮我们进行编译前面编写的 proto 文件。

5. 运行 Make Modele app。

在这里插入图片描述
运行完成之后，我们可以在 build 文件夹下，找到 proto 生成的源文件。

在这里插入图片描述
这个源文件最终会被遗弃打包到 apk 中。

6. 编写代码使用。

MainActivity ：

public class MainActivity extends AppCompatActivity {

	private final static String TAG = "MainActivity";

	@Override
	protected void onCreate(Bundle savedInstanceState) {
		super.onCreate(savedInstanceState);
		setContentView(R.layout.activity_main);

		AddressBookProtos.Person.PhoneNumber.Builder phoneNumber = AddressBookProtos.Person.PhoneNumber
				.newBuilder().setNumber("13511111111");
		AddressBookProtos.Person.Builder person = AddressBookProtos.Person.newBuilder()
				.setName("张三").setId(1).addPhones(phoneNumber);

		AddressBookProtos.Person.PhoneNumber.Builder phoneNumber1 = AddressBookProtos.Person.PhoneNumber
				.newBuilder().setNumber("13522222222");
		AddressBookProtos.Person.Builder person1 = AddressBookProtos.Person.newBuilder()
				.setName("李四").setId(1).addPhones(phoneNumber1);

		AddressBookProtos.AddressBook addressBook = AddressBookProtos.AddressBook.newBuilder()
				.addPeople(person).addPeople(person1)
				.build();

		//保存为一个文件或者需要向服务器发送
		//序列化,将对象转成 byte 数组
		long l = System.currentTimeMillis();
		byte[] bytes = addressBook.toByteArray();
		Log.e(TAG, "111 zx protobuf 序列化耗时:" + (System.currentTimeMillis() - l));
		Log.e(TAG, "111 zx protobuf 序列化数据大小:" + bytes.length);

		//从文件读到内存或者解析从服务器返回的数据
		//反序列化
		try {
			l = System.currentTimeMillis();
			AddressBookProtos.AddressBook addressBook1 = AddressBookProtos.AddressBook.parseFrom
					(bytes);
			Log.e(TAG, "111 zx protobuf 反序列化耗时:" + (System.currentTimeMillis() - l));
		} catch (InvalidProtocolBufferException e) {
			e.printStackTrace();
		}
	}
}

三、Protobuf 的性能

在这里插入图片描述
这是上面代码运行的结果，我们按照同样的数据格式，同样的数据，对 Json 进行比较。

AddressBook ：

public class AddressBook {
    List<Person> persons;

    public AddressBook() {
        this.persons = new ArrayList<>();
    }

    public void addPersons(Person person) {
         persons.add(person);
    }

    public List<Person> getPersons( ) {
        return persons;
    }
}

Person ：

public class Person {
    private String name;
    private int id;
    private String email;

    private List<PhoneNumber> phones;

    public Person() {
        phones = new ArrayList<>();
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getEmail() {
        return email;
    }

    public void setEmail(String email) {
        this.email = email;
    }
    
    public void addPhones(PhoneNumber number){
        phones.add(number);
    }

    public List<PhoneNumber> getPhones() {
        return phones;
    }
}

PhoneNumber ：

public class PhoneNumber {
    enum PhoneType {
        MOBILE,
        HOME,
        WORK;
    }

    private String number;
    private PhoneType type;

    public String getNumber() {
        return number;
    }

    public void setNumber(String number) {
        this.number = number;
    }

    public PhoneType getType() {
        return type;
    }

    public void setType(PhoneType type) {
        this.type = type;
    }
}

编写 JsonTest ，分别使用 gson 和 fastjson 进行测试。

JsonTest ：

public class JsonTest  {

    private static final String TAG = "JsonTest";

    public static void fastJson() {

        AddressBook addressBook = getObject();

        long l = System.currentTimeMillis();
        String data = JSON.toJSONString(addressBook);
        byte[] bytes = data.getBytes();
        Log.e(TAG, "111 zx FastJson 序列化耗时：" + (System.currentTimeMillis() - l));
        Log.e(TAG, "111 zx FastJson 序列化数据大小：" + bytes.length);

        l = System.currentTimeMillis();
        AddressBook addressBook1 = JSON.parseObject(new String(bytes), AddressBook.class);
        Log.e(TAG, "111 zx FastJson 反序列化耗时：" + (System.currentTimeMillis() - l));
    }
    
    public static void gson(){
        AddressBook addressBook = getObject();
        long l = System.currentTimeMillis();
        Gson gson = new Gson();
        String data = gson.toJson(addressBook);
        byte[] bytes = data.getBytes();
        Log.e(TAG, "111 zx Gson 序列化耗时：" + (System.currentTimeMillis() - l));
        Log.e(TAG, "111 zx Gson 序列化数据大小：" + bytes.length);

        l = System.currentTimeMillis();

        AddressBook addressBook1 = gson.fromJson(new String(bytes), AddressBook.class);
        Log.e(TAG, "111 zx Gson 反序列化耗时：" + (System.currentTimeMillis() - l));
    }

    private static AddressBook getObject(){
        AddressBook addressBook = new AddressBook();

        PhoneNumber p_110 = new PhoneNumber();
        p_110.setNumber("110");
        Person zs = new Person();
        zs.setId(1);
        zs.setName("张三");
        zs.addPhones(p_110);
        addressBook.addPersons(zs);


        PhoneNumber p_120 = new PhoneNumber();
        p_120.setNumber("120");
        Person ls = new Person();
        ls.setId(2);
        ls.setName("李四");
        ls.addPhones(p_120);
        addressBook.addPersons(ls);
        return addressBook;
    }
}

结果：
在这里插入图片描述
可以发现，不论序列化耗时、序列化后数据大小、反序列化，protobuf 都有明显的优势。

四、附

代码链接

孤独灬啸月
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java json转protobuf_protobuf与json转换小结
weixin_30529479的博客
02-24 2461
protobuf与json转换小结protobuf对象不能直接使用jsonlib去转，因为protobuf生成的对象的get方法返回的类型有byte[]，而只有String类型可以作为json的key，protobuf提供方法进行转换。引用maven依赖：com.googlecode.protobuf-java-formatprotobuf-java-format1.2protobuf对象转换成j...
用protobuf代替json格式进行高效安全的数据通讯
青哥的博客
03-03 667
protobuf 全称: Protocol Buffers, 是Google公司开发的一种数据类型和结构描述语言。是一种数据传输格式，网络数据传输数据，可用 json，也可用 protobuf。 protobuf 很适合做数据存储或 RPC 数据交换格式，对消息的版本兼容性非常强，可用于通讯协议、数据存储等领域的 语言无关、平台无关、可扩展的序列化结构数据格式。
对比ProtoBuf、JSON的序列化和反序列化能力
最新发布
u013250861的博客
05-29 620
小结:1. XML、JSON、 ProtoBuf 都具有数据结构化和数据序列化的能力。2. XML、JSON更注重数据结构化，关注可读性和语义表达能力。ProtoBuf 更注重数据序列化，关注效率、空间、速度，可读性差，语义表达能力不足，为保证极致的效率，会舍弃一部分元信息。3. ProtoBuf 的应用场景更为明确，XML、JSON的应用场景更为丰富。对比ProtoBuf和JSON的序列化和反序列化能力_protobuf和json区别-CSDN博客。
protobuf对象与JSON相互转换
Charge8的博客
10-27 4602
protobuf对象与JSON相互转换
java 序列化慢_java – GSON序列化非常慢
weixin_39626089的博客
02-13 342
我试图使用GSON序列化一个7000 POJO阵列,并且序列化时间非常慢.序列化以下对象的数组是3-5秒的顺序：public class Case {private Long caseId;private Key orgKey;private Key workflowKey;private Key creatorKey;private Date creationTimestamp;private ...
Protobuf与Json的相互转化
DoneSpeak的博客
11-01 1万+
前言 最近的工作中开始使用Google的Protobuf构建REST API，按照现在使用的感觉，除了应为Protobuf的特性，接口被严格确定下来之外，暂时还么有感受到其他特别的好处。说是Protobuf比Json的序列化更小更快，但按照目前的需求，估计很就都没有还不会有这个性能的需要。既然是全新的技术，我非常地乐意学习。 在MVC的代码架构中，Protbuf是Controller层用到的技术，...
protobuf 序列化为json不使用驼峰命名
qq_38572383的博客
08-30 5541
protobuf 本身提供了序列化为json得工具类：com.google.protobuf.util.JsonFormat 序列化不使用驼峰命名： JsonFormat.printer().preservingProtoFieldNames().print(Message实例) JsonFormat 默认是使用驼峰命名的，它的内部类Printer得属性preservingProtoFie...
Unity 中使用Protobuf进行序列化和反序列化的Demo
01-27
本Demo将展示如何在Unity中集成并使用Protobuf进行数据的序列化和反序列化操作。 首先，你需要了解什么是序列化和反序列化。序列化是将对象的状态转换为可以存储或传输的数据格式的过程，而反序列化则是将这些数据...
Python调用序列化数据工具Protocol Buffers——protobuf
10-22
**Python调用序列化数据工具Protocol Buffers（protobuf）详解** Protocol Buffers是Google开发的一种高效的数据序列化协议，它允许开发者将结构化的数据串行化，可用于数据存储、通信协议等方面。Python作为一门...
C++ JSON 序列化与反序列化
06-22
本篇文章将深入探讨C++中JSON的序列化与反序列化。 **一、JSON序列化** 序列化是指将C++的对象转换为JSON字符串的过程，以便在网络上传输或保存到文件中。常见的C++ JSON序列化库有RapidJSON、nlohmann/json、...
protobuf序列化和反序列化技术
12-28
相比于XML或JSON等文本格式，protobuf的序列化结果更小，解析速度更快，因为它是二进制编码。此外，protobuf提供了强大的类型定义，支持复杂的数据结构，包括消息嵌套、数组和枚举类型，使得数据结构更加清晰和易于...
protobuf 性能对比
07-18
protobuf 性能对比 和fastjson对比，测试程序
实现protobuf与json的互转
07-04
使用protobuf的Description技术,实现protobuf结构体与json语言之间的黑盒转换.
protobuf 反序列化工具，输入二进制输出对应的json信息
08-10
标题中的"protobuf 反序列化工具"指的是一个专门处理protobuf序列化数据的程序，能够将protobuf编码的二进制数据转换成易于阅读和理解的JSON格式。在网络通信中，protobuf编码的数据通常在网络抓包工具如Wireshark中...
Protobuf实现序列化和反序列化详细步骤
java之书-资源
06-29 1219
protobuf序列化机制： 是按照实际的数据大小去动态伸缩的, 因此很多时候我们的int数据并没有实际占用到4个字节 所以protobuf序列化后一般都会比int类型(java序列化机制)的占用长度要小很多！
基于GSoap/protobuf的服务性能优化
傲然君
11-19 1248
一、业务场景前段时间，在做CS服务化的事情，其中有一个业务场景是这样的： CS在启动时，需要一次性向服务端请求各种地理图数据，该部分数据来源于将近200张表。起初为了方便，所有表使用同一个protobuf结构，且所有字段类型统一定义为bytes。 在120G内存服务器上的测试结果： 1、时间上：相比直接从数据库加载数据，服务化后单个CS的启动时间（将近3分钟）要超出一倍。若同时启动10个CS，
JSON和ProtoBuf序列化
yitian881112的专栏
11-02 2442
我们在开发一些远程过程调用（RPC）的程序时，通常会涉及对象的序列化/反序列化的问题，例如一个“Person”对象从客户端通过TCP方式发送到服务器端；因为TCP协议（UDP等这种低层协议）只能发送字节流，所以需要应用层将Java POJO对象序列化成字节流，数据接收端再反序列化成Java POJO对象即可。“序列化”一定会涉及编码和格式化（Encoding & Format），目前我们可选择的编码方式有：使用JSON。将Java POJO对象转换成JSON结构化字符串。基于HTTP协议，在Web应用、移动
java protobuf 反序列化_性能最好的序列化反序列化，Protobuf的用法（maven项目）
weixin_39628105的博客
03-04 430
首先要在pom.xml里添加Protobuf的jar包com.dyuproject.protostuffprotostuff-core1.0.8com.dyuproject.protostuffprotostuff-runtime1.0.8序列化的实体类User.java(不需要实现Serializable接口)package com.serialize.entity;public class U...
protobuf序列化/反序列化性能及问题
热门推荐
s_sunnyy的博客
04-05 1万+
为了tensorflow项目要求测试protobuf序列化/反序列化的性能，测试过程及测试结果如下： 一. 测试环境 python 2.7 + proto3 二. 测试方法 1. 自定义一个proto消息（使用protobuf example里的例子，进行修改） message Person { string name = 1; int32 id = 2; // Uni
protobuf-net 序列化
05-13
protobuf-net 是一个开源的 .NET 序列化库，用于将 .NET 对象序列化为二进制格式。protobuf-net 使用 Google 的 Protocol Buffers 作为数据格式，并支持 .NET Framework、.NET Standard 和 .NET Core 等平台。 以下是 protobuf-net 序列化的基本步骤： 1. 安装 protobuf-net NuGet 包 在 Visual Studio 中，可以通过 NuGet 包管理器或控制台安装 protobuf-net 包。 2. 定义数据模型 定义需要序列化的数据模型，并使用 protobuf-net 的特性来标记每个字段。例如： ```csharp [ProtoContract] public class Person { [ProtoMember(1)] public int Id { get; set; } [ProtoMember(2)] public string Name { get; set; } [ProtoMember(3)] public int Age { get; set; } } ``` 3. 序列化对象 使用 protobuf-net 的 Serializer.Serialize 方法将对象序列化为二进制格式。例如： ```csharp var person = new Person { Id = 1, Name = "Alice", Age = 30 }; using (var stream = new MemoryStream()) { Serializer.Serialize(stream, person); var bytes = stream.ToArray(); } ``` 4. 反序列化对象 使用 protobuf-net 的 Serializer.Deserialize 方法将二进制数据反序列化为对象。例如： ```csharp using (var stream = new MemoryStream(bytes)) { var person = Serializer.Deserialize<Person>(stream); } ``` 以上是 protobuf-net 序列化的基本步骤，可以根据实际需求进行调整和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值