Protobuf的使用

最新推荐文章于 2024-05-11 02:33:42 发布
最新推荐文章于 2024-05-11 02:33:42 发布
阅读量291 收藏
点赞数

转：https://blog.wangqi.love/articles/Java/Protobuf%E7%9A%84%E4%BD%BF%E7%94%A8.html

最近在看canal源码的时候发现其中server与client数据通信使用了Protobuf协议，从前听过这个协议但是没用过，趁这个机会学习一下。

Protobuf是Google开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。

它不依赖于语言和平台并且可扩展性极强。相比于json和xml，Protobuf的使用更简单，传输的数据更小，序列化反序列化的性能更高。

本文简单介绍一下Protobuf在java中的使用。

安装

首先安装Protobuf。对于Mac OS只需要使用brew命令安装：

1

brew install protobuf

定义消息格式

和json和xml等协议不同，Protobuf在使用之前需要先定义一个.proto文件作为消息的格式。

.proto文件的格式参考：https://blog.csdn.net/u011518120/article/details/54604615#ScalarValueTypes

假设我们要定义一个评论的消息格式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

syntax = "proto3";

option java_package = "love.wangqi";
option java_outer_classname = "CommentProto";

message comment {
    string id = 1;
    string content = 2;
    string articleTitle = 3;
    string articleId = 4;
    string articleUrl = 5;
    string projectId = 6;
    string categoryId = 7;
    string commentUserId = 8;
    string commentUserName = 9;
    int32 likeCount = 10;
    int64 sortNumber = 11;
}

Java使用

定义完.proto消息描述文件之后，执行以下命令生成Java代码：

1

protoc -I=src/main/java/love/wangqi --java_out=src/main/java comment.proto
  • -I：proto文件所在的目录
  • --java_out：Java文件存放目录
  • 最后是proto文件名称

执行完命令之后在src/main/java目录下会生成CommentProto.java类。

接下来我们就可以是用这个类了。

首先在pom文件中引入protobuf-java依赖：

1
2
3
4
5

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.7.0</version>
</dependency>

之后我们就可以使用protobuf：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

public static void main(String[] args) throws InvalidProtocolBufferException {
    // 构建Comment
    CommentProto.comment.Builder commentBuilder = CommentProto.comment.newBuilder();
    commentBuilder.setId("1");
    commentBuilder.setContent("评论内容");
    commentBuilder.setArticleTitle("稿件标题");
    commentBuilder.setArticleId("11");
    commentBuilder.setArticleUrl("http://localhost");
    commentBuilder.setProjectId("123");
    commentBuilder.setCategoryId("456");
    commentBuilder.setCommentUserId("789");
    commentBuilder.setCommentUserName("zhangsan");
    commentBuilder.setLikeCount(10);
    commentBuilder.setSortNumber(100000L);

    CommentProto.comment comment = commentBuilder.build();
    System.out.println(comment);

    // 序列化，输出byte数组
    byte[] bytes = comment.toByteArray();
    System.out.println("序列化之后的数据大小：" + bytes.length);

    // 根据byte数组，反序列化
    CommentProto.comment comment1 = CommentProto.comment.parseFrom(bytes);
    System.out.println("反序列化之后的数据：");
    System.out.println(comment1);
}

Protobuf与Json的性能对比

上面我们提高过，Protobuf相比于Json传输的数据更小，性能更高。下面我们来实验一下。

性能测试父类，通过多线程循环执行之后统计执行时间：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

public class Performance {
    private int threadCount = 4;
    private int loopCount = 10000000;

    interface Action {
        void run() throws Exception;
    }

    public void test(Action action) {
        List<Thread> threadList = new ArrayList<>();
        for (int i = 0; i < threadCount; i++) {
            threadList.add(new Thread(() -> {
                for (int i1 = 0; i1 < loopCount; i1++) {
                    try {
                        action.run();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            }));
        }

        long start = System.currentTimeMillis();
        for (Thread thread : threadList) {
            thread.start();
        }

        for (Thread thread : threadList) {
            try {
                thread.join();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        long end = System.currentTimeMillis();
        System.out.println("cost time " + (end - start) + "ms");
    }
}

ProtoBuf的性能测试代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

public class ProtoPerformance extends Performance {
    CommentProto.comment.Builder commentBuilder;
    CommentProto.comment comment;

    public ProtoPerformance() {
        commentBuilder = CommentProto.comment.newBuilder();
        commentBuilder.setId("1");
        commentBuilder.setContent("评论内容");
        commentBuilder.setArticleTitle("稿件标题");
        commentBuilder.setArticleId("11");
        commentBuilder.setArticleUrl("http://localhost");
        commentBuilder.setProjectId("123");
        commentBuilder.setCategoryId("456");
        commentBuilder.setCommentUserId("789");
        commentBuilder.setCommentUserName("zhangsan");
        commentBuilder.setLikeCount(10);
        commentBuilder.setSortNumber(100000L);

        comment = commentBuilder.build();
    }

    public void serialTest() {
        System.out.println("serial:");
        test(() -> comment.toByteArray());
    }

    public void deserialTest() {
        System.out.println("deserial:");
        byte[] commentBytes = comment.toByteArray();
        System.out.println("byte size: " + commentBytes.length);
        test(() -> {
            try {
                CommentProto.comment.parseFrom(commentBytes);
            } catch (InvalidProtocolBufferException e) {
                e.printStackTrace();
            }
        });
    }
}

Json的性能测试代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

public class JsonPerformance extends Performance {
    ObjectMapper mapper = new ObjectMapper();
    Comment comment;

    public JsonPerformance() {
        comment = new Comment();
        comment.setId("1");
        comment.setContent("评论内容");
        comment.setArticleTitle("稿件标题");
        comment.setArticleId("11");
        comment.setArticleUrl("http://localhost");
        comment.setProjectId("123");
        comment.setCategoryId("456");
        comment.setCommentUserId("789");
        comment.setCommentUserName("zhangsan");
        comment.setLikeCount(10);
        comment.setSortNumber(100000L);
    }

    public void serialTest() {
        System.out.println("serial:");
        test(() -> mapper.writeValueAsString(comment));
    }

    public void deserialTest() throws JsonProcessingException {
        System.out.println("deserial:");
        String json = mapper.writeValueAsString(comment);
        byte[] bytes = json.getBytes();
        System.out.println("byte size: " + bytes.length);
        test(() -> mapper.readValue(json, Comment.class));
    }
}

接下来执行Json与Protobuf的性能对比：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

public class Main {
    public static void main(String[] args) throws JsonProcessingException {
        System.out.println("====json performance====");
        JsonPerformance jsonPerformance = new JsonPerformance();
        jsonPerformance.serialTest();
        jsonPerformance.deserialTest();

        System.out.println();

        System.out.println("====protobuf performance====");
        ProtoPerformance protoPerformance = new ProtoPerformance();
        protoPerformance.serialTest();
        protoPerformance.deserialTest();
    }
}

执行结果如下：

从结果中我们可以看到protobuf序列化之后生成的数据要大大小于Json生成的数据，而且无论是序列化还是反序列化的性能都优于Json。

https://www.jianshu.com/p/bb3ac7e5834e
https://juejin.im/post/5b2a2880f265da598451eff3

月夜楓
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Protobuf 使用简介
m0_55623367的博客
09-12 554
Protobuf 介绍 Protobuf 的全称是 Protocol buffers 是谷歌开发的一种平台中立和语言中立的序列化方法，简单的说就是支持多平台(windows, linux, mac), 多开发语言支持(C#, Python, Java, Go, C++) ，和XML相比，更小，更快，更简单。 开发者只需要定义一次数据结构，就可以生成源代码，并且非常轻松的读取和转换结构化的数据。 官方网址：https://developers.google.com/protocol-buffers
protobuf使用示例
03-09
**protobuf使用示例** protobuf（Protocol Buffers）是Google开发的一种数据序列化协议，它可以将结构化的数据序列化，可用于数据存储、通信协议等方面。它提供了比XML更小、更快、更简单的方式来让结构化数据进行...
ProtoBuf的使用
终为nullptr
11-21 420
详解如何使用ProtoBuf实现序列化和反序列化
2024年Go最全Android Stduio中配置和使用Google Protobuf，2024Golang开发社招面试总结
最新发布
2401_84910899的博客
05-11 1047
此时就可以在与src/main/java同位置的proto目录写协议文件*.proto了。写两个协议文件aclass.proto（代表班级），student.proto（代表学生）。(img-xy3Kodyu-1715365998955)].setName(“1班”)
Protobuf 使用
lq
03-22 2567
Protobuf 使用 Protobuf 概念以及干什么的就不在这里说了，看这篇文章的应该都了解了，不了解的可以自己查一下。 总共分三步 第一步：下载配置 Protobuf 环境 Protobuf github 下载链接 里面有各个版本的 package，记得要选 release，根据自己需求找到适合的版本 我这里使用的是 Protocol Buffers v3.0.0 Version 3.0.0链接 下拉找到 Assets 标签展开如下 我是在 Windows 系统上操作，所以我选择下载 pro
protobuf的使用
neuzhangno的博客
01-06 263
protobuf
Protobuf使用
09-20
2. **编译消息类型**： 使用protobuf编译器protoc，将.proto文件编译成对应编程语言的类库。 3. **序列化和反序列化**： 编译后的类库提供了序列化和反序列化的方法，可以将对象转换为字节流，也可以从字节流恢复...
Protobuf使用手册.doc
03-28
Protobuf 使用手册 本文档旨在提供一个详细的 Protobuf 使用手册，涵盖了 protobuf 的常见使用方法、内部原理实现的介绍、使用经验建议等。同时，也分别介绍了 protobuf 在 C++、Python、Java 的使用。 一、...
android protobuf 使用demo
05-30
在这个“android protobuf 使用demo”中，我们将深入探讨如何在Android项目中集成和使用protobuf。 首先，我们需要了解.proto文件。这是一种文本格式的文件，用于定义protobuf的消息类型。例如： ```proto syntax ...
protobuf使用
lswdcyy的博客
05-20 289
protobuf、json、xml 这三个都是一个序列化数据结构的格式，用于序列化和反序列化的一个数据载体。 作为序列化和反序列化的数据载体，程序使用这种数据格式一般的过程是 A进程对某个特定数据机构进行数据填充 使用库函数基于特定数据结构进行序列化(protobuf、json、xml) A进程将序列化的数据发送给B进程 B进程使用库函数将序列化数据反序列化提取到特定数据结构 这样整个过程下来，本质上，上面这三种数据结构就是能够可以将结构化的数据在进程间传输。 比较 序列化(反序列化)效率(时间消耗)：
protobuf 使用简单示例
06-17
Protocol Buffers是Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。它不依赖于语言和平台并且可扩展性极强。现阶段官方支持C++、JAVA、Python等三种编程语言，但可以找到大量的几乎涵盖所有语言的第三方拓展包。
protoBuf的简单使用
Edgar_LQS的博客
12-18 362
java protobuf 的简单使用
protobuf使用方法
qeshining的博客
08-11 736
person.proto文件 [cpp] view plaincopy message Person{       required string name = 1;       required int32 age = 2;       optional string email = 3;       enum PhoneType{     
Protobuf 使用指南
木牛的博客
10-19 1116
最近在手撸 IM 系统，关于数据传输格式的选择，犹豫了下，对比了 JSON 和 XML，最后选择了 Protobuf 作为数据传输格式。毕竟 Google 出品，必属精品😂，[官网地址]。好了，舔狗环节结束，关于技术选择，都是需要根据实际的应用场景的，否则都是耍流氓，下文会进行简单的对比，先来看看官网的介绍：他是一种与语言无关、与平台无关，是一种可扩展的用于序列化和结构化数据的方法，常用于用于通信协议，数据存储等。
protobuf使用详解
Charge8的博客
10-26 7703
protobuf使用详解
protobuf使用简介
Erli11的专栏
05-30 6992
1 protobuf介绍 2
ProtoBuf介绍与使用
冯同学的博客
06-26 6018
ProtoBuf介绍与使用
protobuf介绍和使用
u012861978的专栏
03-27 1812
如果自己实现消息序列化和反序列化算法会有以下问题： 1.不同编程语言对其基础数据类型的编码解码的实现不同，不同的语言进行对接要写不同编码解码的代码。 2.想要压缩消息体积，每个协议都要写它的encode()和decode()代码 protobuf可以解决上面两个问题，protobuf的作用： step1:protobuf根据，协议描述文件生成编程语言等价的数据结构 step2:protobuf可以生成每个协议对应的encode()/decode()代码，（数据结构<——>二进制）
protobuf 使用
09-15
下面是使用protobuf的一般步骤： 1. 定义消息类型：使用protobuf语言定义文件（.proto）来描述数据结构和消息类型。你可以定义消息字段的名称、类型和规则等。 2. 编写.proto文件：在.proto文件中定义消息类型、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值