Google protobuf 与 Java POJO bean 相互转换

最新推荐文章于 2023-08-15 17:34:10 发布
最新推荐文章于 2023-08-15 17:34:10 发布
阅读量5.5k 收藏 9
点赞数 2
分类专栏： Java 文章标签： protobuf java spring boot bean pojo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrqiang9001/article/details/119785503
版权

​

1 摘要

Google 的 protocol buffers 协议(简称: protobuf) ，凭借文本体积小、支持多语言、序列化与反序列化优秀等特点在一些场景中应用广泛。本文将介绍如何实现 protobuf 中定义的 message 与 Java 的 POJO bean 的相互转换。

准备工作:

Spring boot 2.5 集成 Google protocol buffer

Protubuf 定义复杂格式的 message

​

2 核心 Maven 依赖

./demo-mybatis-plus/pom.xml

        <!-- protocol buffer support -->
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>${protobuf.version}</version>
        </dependency>
        <dependency>
            <groupId>io.grpc</groupId>
            <artifactId>grpc-all</artifactId>
            <version>${grpc.version}</version>
        </dependency>

其中 ${protobuf.version} 的版本为 3.17.3，${grpc.version} 的版本为 1.39.0

3 核心代码

3.1 protobuf 文件
./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/protobuf/Student.proto

syntax = "proto3";

option optimize_for = CODE_SIZE;
option java_package = "com.ljq.demo.springboot.mybatisplus.model.entity";
option java_outer_classname = "StudentPb";

// 学生信息
message Student {

  // id
  int64 id = 1;
  // 姓名
  string name = 2;
  // 出生日期(时间戳)
  int32 birth_date = 3;
}

// 班级信息
message ClassInfo {

  // id
  int64 id = 1;
  // 年级
  int32 grade = 2;
  // 班级编号
  int32 number = 3;

}

// 学生选修课
message ElectiveCourse {

  // 学生 id
  int64 stu_id = 1;
  // 课程名称
  repeated string course_names = 2;

}

// 学生班级信息
message StudentClass {

  // id
  int64 id = 1;
  // 学生信息
  Student student = 2;
  // 班级信息
  ClassInfo class_info = 3;

}

// 性别
message StudentSex {
  enum Sex{
    MAN = 0;
    WOMEN = 1;
  }
  Sex sex = 2;
}

// 教师信息
message Teacher {
  // id
  uint64 id = 1;
  // 姓名
  string name = 2;
}

./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/protobuf/Tree.proto

syntax = "proto3";

option optimize_for = CODE_SIZE;
option java_package = "com.ljq.demo.springboot.mybatisplus.model.entity";
option java_outer_classname = "TreePb";

import "com/ljq/demo/springboot/mybatisplus/model/protobuf/Student.proto";

// 学生植树
message Tree {
    // 树木品种
    string tree_type = 2;
    // 植树时间
    uint32 plant_date = 3;
    // 种树学生信息
    Student student = 4;
    // 学生选修课
    ElectiveCourse elective_course = 5;
    // 教师
    repeated Teacher teachers = 6;
}

其中 Tree.proto 文件引用了外部的 Student.proto 文件

3.2 Java PoJo 类

Tree 实体类中包含常用的复杂数据结构，其中包含了普通字段、对象属性、列表属性

./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/entity/TreeEntity.java

package com.ljq.demo.springboot.mybatisplus.model.entity;

import com.ljq.demo.springboot.mybatisplus.model.param.student.StudentReceiveParam;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.io.Serializable;
import java.util.List;

/**
 * @Description: 学生植树
 * @Author: junqiang.lu
 * @Date: 2021/8/17
 */
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class TreeEntity implements Serializable {

    private static final long serialVersionUID = 3727053267859322959L;

    /**
     * 数目品种
     */
    private String treeType;
    /**
     * 植树时间
     */
    private Integer plantDate;
    /**
     * 学生信息
     */
    private StudentReceiveParam student;
    /**
     * 选修课
     */
    private ElectiveCourseEntity electiveCourse;
    /**
     * 教师列表
     */
    private List<TeacherEntity> teachers;

}

学生信息 java bean

./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/param/student/StudentReceiveParam.java

package com.ljq.demo.springboot.mybatisplus.model.param.student;

import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.io.Serializable;

/**
 * @Description: 接收学生信息(pb)
 * @Author: junqiang.lu
 * @Date: 2021/8/7
 */
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
@ApiModel(value = "接收学生信息(pb)", description = "查询学生信息")
public class StudentReceiveParam implements Serializable {

    private static final long serialVersionUID = -8856061586998092638L;

    /**
     * id
     */
    @ApiModelProperty(value = "id", required = true, example = "1")
    private Long id;
    /**
     * 姓名
     */
    @ApiModelProperty(value = "姓名", required = true)
    private String name;
    /**
     * 出生日期(时间戳,精确到秒)
     */
    @ApiModelProperty(value = "出生日期(时间戳,精确到秒)", required = true, example = "1")
    private Integer birthDate;


}

选修课实体类，选修课中包含列表

./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/entity/ElectiveCourseEntity.java

package com.ljq.demo.springboot.mybatisplus.model.entity;

import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.io.Serializable;
import java.util.List;

/**
 * @Description: 选修课
 * @Author: junqiang.lu
 * @Date: 2021/8/17
 */
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class ElectiveCourseEntity implements Serializable {

    private static final long serialVersionUID = -9214802138019634356L;

    /**
     * 学生 id
     */
    private Long stuId;
    /**
     * 课程名称
     */
    private List<String> courseNames;

}

教师信息

./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/model/entity/TeacherEntity.java

package com.ljq.demo.springboot.mybatisplus.model.entity;

import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableField;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Data;
import java.io.Serializable;

/**
 * 教师实体类
 *
 * @author junqiang.lu
 * @date 2020-10-09 17:27:32
 */
@Data
@TableName(value = "teacher", resultMap = "teacherMap")
@ApiModel(value = "教师", description = "教师")
public class TeacherEntity implements Serializable {

	private static final long serialVersionUID = 1L;

    /**
     * id
     **/
    @TableId(value = "ID", type = IdType.AUTO)
    @ApiModelProperty(value = "id", name = "id")
    private Long id;
    /**
     * 姓名
     **/
    @TableField(value = "NAME")
    @ApiModelProperty(value = "姓名", name = "name")
    private String name;

}
3.3 protobuf bean 转换工具类
./demo-mybatis-plus/src/main/java/com/ljq/demo/springboot/mybatisplus/common/util/ProtobufBeanUtil.java

package com.ljq.demo.springboot.mybatisplus.common.util;

import com.google.gson.Gson;
import com.google.protobuf.Message;
import com.google.protobuf.util.JsonFormat;

import javax.validation.constraints.NotNull;
import java.io.IOException;

/**
 * @Description: protobuf bean 转换工具类
 * @Author: junqiang.lu
 * @Date: 2021/8/9
 */
public class ProtobufBeanUtil {

    private ProtobufBeanUtil(){
    }

    /**
     * 将ProtoBean对象转化为POJO对象
     *
     * @param destPojoClass 目标POJO对象的类类型
     * @param sourceMessage 含有数据的ProtoBean对象实例
     * @param <PojoType> 目标POJO对象的类类型范型
     * @return
     * @throws IOException
     */
    public static <PojoType> PojoType toPojoBean(@NotNull Class<PojoType> destPojoClass, @NotNull Message sourceMessage)
            throws IOException {
        String json = JsonFormat.printer().print(sourceMessage);
        return new Gson().fromJson(json, destPojoClass);
    }

    /**
     * 将POJO对象转化为ProtoBean对象
     *
     * @param destBuilder 目标Message对象的Builder类
     * @param sourcePojoBean 含有数据的POJO对象
     * @return
     * @throws IOException
     */
    public static void toProtoBean(@NotNull Message.Builder destBuilder, @NotNull Object sourcePojoBean) throws IOException {
        String json = new Gson().toJson(sourcePojoBean);
        JsonFormat.parser().merge(json, destBuilder);
    }


}
3.4 测试示例

基本属性赋值与压力测试

./demo-mybatis-plus/src/test/java/com/ljq/demo/springboot/mybatisplus/common/util/ProtobufBeanUtilTest.java

package com.ljq.demo.springboot.mybatisplus.common.util;

import com.ljq.demo.springboot.mybatisplus.model.entity.StudentPb;
import com.ljq.demo.springboot.mybatisplus.model.param.student.StudentReceiveParam;
import org.junit.Test;

import java.io.IOException;


public class ProtobufBeanUtilTest {

    @Test
    public void toPojoBean() throws IOException {
        // 赋值
        StudentPb.Student student = StudentPb.Student.newBuilder()
                .setId(111L)
                .setName("张三")
                .setBirthDate(1628233076)
                .build();
        // 属性拷贝
        StudentReceiveParam receiveParam = ProtobufBeanUtil.toPojoBean(StudentReceiveParam.class, student);
        System.out.println(receiveParam);
    }

    @Test
    public void toProtoBean() throws IOException {
        StudentReceiveParam receiveParam = new StudentReceiveParam();
        receiveParam.setId(123L);
        receiveParam.setName("李四");
        receiveParam.setBirthDate(1628233076);
        // 属性拷贝
        StudentPb.Student.Builder studentBuilder = StudentPb.Student.newBuilder();
        ProtobufBeanUtil.toProtoBean(studentBuilder, receiveParam);
        // 打印
        System.out.println("id: " + studentBuilder.getId());
        System.out.println("name: " + studentBuilder.getName());
        System.out.println("birth_date: " + studentBuilder.getBirthDate());
    }

    /**
     * proto to pojo 压力测试
     *
     * @throws IOException
     */
    @Test
    public void toPojoBeanPressure() throws IOException {
        // 赋值
        StudentPb.Student student = StudentPb.Student.newBuilder()
                .setId(111L)
                .setName("张三")
                .setBirthDate(1628233076)
                .build();
        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            StudentReceiveParam receiveParam = ProtobufBeanUtil.toPojoBean(StudentReceiveParam.class, student);
        }
        long stop = System.currentTimeMillis();
        System.out.println("耗时: " + (stop-start));
    }

    /**
     * pojo to proto 压力测试
     */
    @Test
    public void toProtoBeanPressure() throws IOException {
        StudentReceiveParam receiveParam = new StudentReceiveParam();
        receiveParam.setId(123L);
        receiveParam.setName("李四");
        receiveParam.setBirthDate(1628233076);
        // 属性拷贝
        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            StudentPb.Student.Builder studentBuilder = StudentPb.Student.newBuilder();
            ProtobufBeanUtil.toProtoBean(studentBuilder, receiveParam);
        }
        long stop = System.currentTimeMillis();
        System.out.println("耗时: " + (stop-start));

    }
}

复杂参数格式对象转换测试

./demo-mybatis-plus/src/test/java/com/ljq/demo/springboot/mybatisplus/model/entity/TreeVoTest.java

package com.ljq.demo.springboot.mybatisplus.model.entity;

import com.ljq.demo.springboot.mybatisplus.common.util.ProtobufBeanUtil;
import com.ljq.demo.springboot.mybatisplus.model.param.student.StudentReceiveParam;
import org.junit.Test;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class TreeVoTest {

    /**
     * 测试-赋值
     */
    @Test
    public void value() {
        TreePb.Tree tree = TreePb.Tree.newBuilder()
                .setTreeType("杨树")
                .setPlantDate(1628233076)
                .setStudent(StudentPb.Student.newBuilder()
                        .setId(123L)
                        .setName("王五")
                        .setBirthDate(1628233076))
                .setElectiveCourse(StudentPb.ElectiveCourse.newBuilder()
                        .setStuId(123L)
                        .addCourseNames("语文")
                        .addCourseNames("数学")
                        .addCourseNames("物理"))
                .addTeachers(StudentPb.Teacher.newBuilder()
                        .setId(666L)
                        .setName("化学王子秦老师"))
                .addTeachers(StudentPb.Teacher.newBuilder()
                        .setId(888L)
                        .setName("马保国"))
                .build();
        // 输出值
        System.out.println("tree type: " + tree.getTreeType());
        System.out.println("plant date: " + tree.getPlantDate());
        System.out.println("tree protobuf: " + tree);

    }

    @Test
    public void convertToPojo() throws IOException {
        TreePb.Tree tree = TreePb.Tree.newBuilder()
                .setTreeType("杨树")
                .setPlantDate(1628233076)
                .setStudent(StudentPb.Student.newBuilder()
                        .setId(123L)
                        .setName("王五")
                        .setBirthDate(1628233076))
                .setElectiveCourse(StudentPb.ElectiveCourse.newBuilder()
                        .setStuId(123L)
                        .addCourseNames("语文")
                        .addCourseNames("数学")
                        .addCourseNames("物理"))
                .addTeachers(StudentPb.Teacher.newBuilder()
                        .setId(666L)
                        .setName("化学王子秦老师"))
                .addTeachers(StudentPb.Teacher.newBuilder()
                        .setId(888L)
                        .setName("马保国"))
                .build();
        TreeEntity treeEntity = ProtobufBeanUtil.toPojoBean(TreeEntity.class, tree);
        System.out.println("tree entity: " + treeEntity);

    }

    @Test
    public void convertToProtobuf() throws IOException {
        List<String> courseNameList = new ArrayList<>();
        for (int i = 0; i < 3; i++) {
            courseNameList.add("科目" + (i+1));
        }
        List<TeacherEntity> teacherList = new ArrayList<>();
        TeacherEntity teacher;
        for (int i = 0; i < 3; i++) {
            teacher = new TeacherEntity();
            teacher.setId((i+1L));
            teacher.setName("老师" + (i+1));
            teacherList.add(teacher);
        }
        TreeEntity treeEntity = TreeEntity.builder()
                .treeType("梧桐树")
                .plantDate(1628233076)
                .student(StudentReceiveParam.builder()
                        .id(1234L)
                        .name("张三")
                        .birthDate(1628233076)
                        .build())
                .electiveCourse(ElectiveCourseEntity.builder()
                        .stuId(1234L)
                        .courseNames(courseNameList)
                        .build())
                .teachers(teacherList)
                .build();
        // 树木信息
        System.out.println("TreeEntity: " + treeEntity);
        // pojoBean -> protobuf
        TreePb.Tree.Builder tree = TreePb.Tree.newBuilder();
        ProtobufBeanUtil.toProtoBean(tree, treeEntity);
        System.out.println("tree protobuf:" + tree.build());


    }

}

测试结果:

复杂结构的对象也能够转换，使用工具类转换极大地提升了属性复制的效率。

​

4 推荐参考资料

protobuf 与 Java 对象互转

Protobuf与POJO的相互转化 - 通过Json

5 Github 源码

Gtihub 源码地址 : https://github.com/Flying9001/springBootDemo

个人公众号:404Code,分享半个互联网人的技术与思考，感兴趣的可以关注.
404Code

Flying9001
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
protobuf3转java工具
01-24
适用于protobuf3协议规则转换为java文件的一个工具类，操作简便，谷歌下载不易。
使用ProtoBuf生成Java文件
Friendships666的博客
05-31 1738
使用ProtoBuf生成Java文件
【 protobuf 】.proto转成.Java 教程
CharlynYanyan的博客
12-02 6787
protobuf教程 1、下载protoc-3.19.1-win64.zip 2、配置用户path环境变量 检测成功： 在protoc.exe目录cmd中，protoc命令有效 如果不是新手，如果电脑使用过proto 忘记proto.exe路径，或者cmd中查看protoc命令无效 echo %path% 在出现的文件目录中，查看proto.exe是否存在 存在的话，protoc命令则能被识别 3、转换.proto为.java 先在目标.proto文件内改好两个"路径" option java_p
protoBean与javaBean的转换，与Java反射效率测试
阿拉斯加大闸蟹的博客
06-13 3938
目录 源码： protobuf序列化简介： protobuf3缺失值Null处理： beanTransfer解释： 使用示例： beanTransfer测试： 对比评测： 测试用例： 耗时对比： 结果分析： 参考资料： 最近在网上调研了很多方法，发现几乎没有protoBean与javaBean之间转换的工具 大家基本上的做法是protobuf与mybatis之间直...
如何将.proto通过命令转换成.java文件
精致的淘气的博客
11-21 3159
如何将.proto通过命令转换成.java文件
在idea工具下，使用protobuf自动生成java代码，超详细教程
chenmaolin928的博客
05-12 8682
第二步：上面的插件装完重启后，新建一个maven项目，打开IDEA，选择“New Project”，选择Maven，选择Java版本，然后填写项目信息，创建一个新的Maven项目。c).输出路径：勾选java，并指定protoc生成的java文件需要存放的路径。Protocol Buffers ----------语法支持。generate 、-------- 生成的插件。highlighted、--------语法高亮。，但是要生成代码，用上面三个插件就够了。然后打开命令提示符： 输入protoc,
protobuf-java-3.11.4-API文档-中文版.zip
06-07
标签：google、protobuf、java、中文文档、jar包； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用...
protobuf-java-3.16.1-API文档-中文版.zip
05-09
标签：protobuf、java、google、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请...
protobuf-java-3.7.1-API文档-中文版.zip
06-05
标签：google、protobuf、java、中文文档、jar包； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用...
java开发Google protobuf 3.2.0 jar包 protobuf-java-3.2.0.jar
02-13
ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法，有如XML，不过它更小、更快、也更简单。你可以定义自己的数据结构，...protobuf-java-3.2.0.jar包 太难找了，只能是自己发布一个jar包 特此分享出来
protobuf文件定义及转化为java对象
06-26
定义protobuf文件（包含enum,message,required,optional,repeated, 结构体定义中引用另一个结构体）, 生成java文件，能够构建java对象，并转化为字节byte或者流，能够将流或字节转化为对象
protobuf-java-3.1.0.jar
06-07
protobuf-java-3.1.0.jar
JavaBean，Protobuf互相转换
最新发布
Jarvan的博客
08-15 614
公司使用谷歌的protobuf来进行数据传输，DO 对象对内，DTO对象对外，对于DT与DTO的转换还是手写的build/set，感觉效率太低，所以需要找一个专门用来解决转换问题的工具。MapStruct 对标的是和，但是性能却比这两种好上许多倍。MapStruct 就是这样的一个属性映射工具，且效率比BeanUtil高很多，只需要定义一个 Mapper 接口，MapStruct 就会自动实现这个映射接口，避免了复杂繁琐的映射实现。MapStruct官网地址：DO（业务实体对象），DTO（数据传输对象。
maven集成protobuf插件实现proto文件转换java类文件
weixin_44102162的博客
08-03 1105
在网络通信中大家经常会接触到网络数据传输，然后不同的数据格式在传输中底层格式会有不同的却别。反之，不然以任何什么数据格式都是为了提高传输效率以及节省带宽消耗。常见的传输数据格式有fastjson（alibaba）、xml、protobuf（Google RPC）、hessian（Dubbo RPC）、jackson2（SpringMVC默认）、java原生序列化技术等。那这么多序列化方式我们到底选那种呢，这个就得根据具体的业务常见，框架来决定。
一种java对象转换成protobuf对象通用方法（bean转protobuf 类）
weixin_36708538的博客
07-14 5792
ps:该文默认读者熟悉protobuf 直入正文, 总共2个类，一个是注解类，一个是工具类 注解类 @ProtoField有两个作用 1.标识某个bean的属性忽略转化 Ignore 2.标识某个List属性对应proto文件中的哪个属性名，对应proto文件哪个协议类 该类的创建模仿于fastjson中的JSONField, 源码如下: import java.lang.annotation...
google protobuf 实体类和java对象互转_一文讲透Java序列化
weixin_39805529的博客
11-14 853
前言Oracle 公司计划废除 Java 中的古董：序列化技术，因为它带来了许多严重的安全问题(如序列化存储安全、反序列化安全、传输安全等)，据统计，至少有3分之1的漏洞是序列化带来的，这也是 1997 年诞生序列化技术的一个巨大错误。但是，序列化技术现在在 Java 应用中无处不在，特别是现在的持久化框架和分布式技术中，都需要利用序列化来传输对象，如：Hibernate、Mybatis、Java...
google protobuf 实体类和java对象互转_idea中安装protobuf插件
weixin_39627361的博客
11-21 504
1.安装protobuf插件我是提前下载好到本地，从本次磁盘安装的。注意版本要与自己的idea版本对应起来。插件的地址：protobuf插件2.使用maven的方式集成插件在pom文件中引入依赖：<properties> <java.version>1.8</java.version> <protobuf.version>3.7....
java protoc工具_protoc 编译工具
weixin_42503813的博客
02-28 1440
在进行开发protoc 之前，你需要首先在你的计算机中安装protoc 编译工具。下载编译工具进入Protocol Buffers的源代码中然后选择发布的版本中，找到对应的版本。项目的链接地址为：https://github.com/protocolbuffers/protobuf/releases请注意，如果你这里下载了 3.9.0 的版本的，那么在项目的 Gradle 文件也需要对应的...
java json转protobuf_protobuf与json转换小结
weixin_30529479的博客
02-24 2474
protobuf与json转换小结protobuf对象不能直接使用jsonlib去转，因为protobuf生成的对象的get方法返回的类型有byte[]，而只有String类型可以作为json的key，protobuf提供方法进行转换。引用maven依赖：com.googlecode.protobuf-java-formatprotobuf-java-format1.2protobuf对象转换成j...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值