4、protobuf进阶

最新推荐文章于 2024-08-22 08:00:00 发布
最新推荐文章于 2024-08-22 08:00:00 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Go微服务实战-电商系统 文章标签： 服务器 golang 微服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq23001186/article/details/125748720
版权

目录

一、proto的类型

  • proto的默认数值类型：当一个消息被解析的时候，如果被编码的信息不包含一个特定的singular元素，被解析的对象锁对应的域被设置为一个默认值，对于不同类型指定如下
    • 对于strings，默认值是一个空string
    • 对于bytes，默认值是一个空的bytes
    • 对于bools，默认值是false
    • 对于数值类型，默认是0
    • 对于枚举，默认是第一个定义的枚举值，必须为0
      在这里插入图片描述
      在这里插入图片描述

二、option go_package

  • 我们之前在stream.proto中配置的包路径为：option go_package = ".;proto";，这时候生成的proto文件路径是跟stream.proto同级目录下

    • 对应的生成命令是：protoc --go_out=. --go_opt=paths=source_relative --go-grpc_out=. --go-grpc_opt=paths=source_relative *.proto
      在这里插入图片描述

  • 这时候思考，如果我们希望将pb.go生成到其他路径：

    • 修改option go_package配置：option go_package = "common/stream/proto/v1";
    • 生成命令：注意这时候不应该再使用source_relative，而应该使用import，如protoc --go_out=. --go_opt=paths=import --go-grpc_out=. --go-grpc_opt=paths=import *.proto
      在这里插入图片描述

  • 如果我们希望生成到根目录的其他路径

    • 修改option go_package配置：option go_package = "../../common/stream/proto/v1";
    • 生成命令：注意这时候不应该再使用source_relative，而应该使用import，如protoc --go_out=. --go_opt=paths=import --go-grpc_out=. --go-grpc_opt=paths=import *.proto
      在这里插入图片描述

三、proto文件import另外一个文件的message

  • hello.proto
syntax = "proto3";
import "base.proto";
option go_package = ".;proto";

service Greeter {
  rpc SayHello (HelloRequest) returns (HelloReply);
  rpc Ping(Empty) returns (Pong);
}

message HelloRequest {
  string name = 1;
}

message HelloReply {
  string message = 1;
}
  • base.proto：比较公用的message
syntax = "proto3";

message Empty{

}

message Pong{

}
  • 实际上谷歌已经自定义了Empty：而且还包含很多其他的内置message
    在这里插入图片描述
  • 修改后的proto：注意需要在golang中修改导入的位置，如图
//hello.proto
syntax = "proto3";
import "base.proto";
import "google/protobuf/empty.proto";
option go_package = ".;proto";

service Greeter {
  rpc SayHello (HelloRequest) returns (HelloReply);
  rpc Ping(google.protobuf.Empty) returns (Pong);
}

message HelloRequest {
  string name = 1;
}

message HelloReply {
  string message = 1;
}

//base.proto
syntax = "proto3";

message Pong{

}

在这里插入图片描述

四、message嵌套

  • message嵌套
message HelloReply {
    string message = 1;

    message Result {
        string name = 1;
        string url = 2;
    }

    repeated Result data = 2;
}
  • 嵌套后生成的pb.go代码是：HelloReply_Result 
type HelloReply_Result struct {
	state         protoimpl.MessageState
	sizeCache     protoimpl.SizeCache
	unknownFields protoimpl.UnknownFields

	Name string `protobuf:"bytes,1,opt,name=name,proto3" json:"name,omitempty"`
	Url  string `protobuf:"bytes,2,opt,name=url,proto3" json:"url,omitempty"`
}

五、enum使用

  • hello.proto
message HelloRequest {
  string name = 1;
  string url = 2;
  Gender g = 3;
}

enum Gender{
  MALE = 0;
  FEMALE = 1;
}
  • hello.pb.go
type Gender int32

const (
	Gender_MALE   Gender = 0
	Gender_FEMALE Gender = 1
)
  • client.go
	c := proto.NewGreeterClient(conn)
	r, err := c.SayHello(context.Background(), &proto.HelloRequest{
		Name: "test",
		Url:  "hel.com",
		G:    proto.Gender_FEMALE,
	})

六、map使用

  • hello.proto
message HelloRequest {
  string name = 1;
  string url = 2;
  Gender g = 3;
  map<string, string> mp = 4;
}
  • hello.pb.go
type HelloRequest struct {
	state         protoimpl.MessageState
	sizeCache     protoimpl.SizeCache
	unknownFields protoimpl.UnknownFields

	Name string            `protobuf:"bytes,1,opt,name=name,proto3" json:"name,omitempty"`
	Url  string            `protobuf:"bytes,2,opt,name=url,proto3" json:"url,omitempty"`
	G    Gender            `protobuf:"varint,3,opt,name=g,proto3,enum=Gender" json:"g,omitempty"`
	Mp   map[string]string `protobuf:"bytes,4,rep,name=mp,proto3" json:"mp,omitempty" protobuf_key:"bytes,1,opt,name=key,proto3" protobuf_val:"bytes,2,opt,name=value,proto3"`
}
  • client.go
	c := proto.NewGreeterClient(conn)
	r, err := c.SayHello(context.Background(), &proto.HelloRequest{
		Name: "test",
		Url:  "hel.com",
		G:    proto.Gender_FEMALE,
		Mp: map[string]string{
			"name":    "test",
			"company": "my",
		},
	})

七、proto的内置timestamp

  • timestamp的import：import "google/protobuf/timestamp.proto";
  • hello.proto的定义：内置类型都需要google.protobuf开头
syntax = "proto3";
import "base.proto";
import "google/protobuf/empty.proto";
import "google/protobuf/timestamp.proto";
option go_package = ".;proto";

service Greeter {
  rpc SayHello (HelloRequest) returns (HelloReply);
  rpc Ping(google.protobuf.Empty) returns (Pong);
}

message HelloRequest {
  string name = 1;
  string url = 2;
  Gender g = 3;
  map<string, string> mp = 4;
  google.protobuf.Timestamp addTime = 5;
}

enum Gender{
  MALE = 0;
  FEMALE = 1;
}

message HelloReply {
  string message = 1;

  message Result {
    string name = 1;
    string url = 2;
  }

  repeated Result data = 2;
}
  • hello.pb.go：可以看到AddTime的类型是*timestamppb.Timestamp，点击后查看import就是client.go需要import的包名timestamppb "google.golang.org/protobuf/types/known/timestamppb"
type HelloRequest struct {
	state         protoimpl.MessageState
	sizeCache     protoimpl.SizeCache
	unknownFields protoimpl.UnknownFields

	Name    string                 `protobuf:"bytes,1,opt,name=name,proto3" json:"name,omitempty"`
	Url     string                 `protobuf:"bytes,2,opt,name=url,proto3" json:"url,omitempty"`
	G       Gender                 `protobuf:"varint,3,opt,name=g,proto3,enum=Gender" json:"g,omitempty"`
	Mp      map[string]string      `protobuf:"bytes,4,rep,name=mp,proto3" json:"mp,omitempty" protobuf_key:"bytes,1,opt,name=key,proto3" protobuf_val:"bytes,2,opt,name=value,proto3"`
	AddTime *timestamppb.Timestamp `protobuf:"bytes,5,opt,name=addTime,proto3" json:"addTime,omitempty"`
}
  • client.go
package main

import (
	"context"
	"fmt"
	"google.golang.org/grpc"
	"google.golang.org/grpc/credentials/insecure"
	"google.golang.org/protobuf/types/known/timestamppb"
	"time"

	"MyTestProject/grpc_test/proto"
)

func main() {
	//stream
	conn, err := grpc.Dial("127.0.0.1:50051", grpc.WithTransportCredentials(insecure.NewCredentials()))
	if err != nil {
		fmt.Println(err.Error())
		return
	}
	defer conn.Close()

	c := proto.NewGreeterClient(conn)
	r, err := c.SayHello(context.Background(), &proto.HelloRequest{
		Name: "test",
		Url:  "hel.com",
		G:    proto.Gender_FEMALE,
		Mp: map[string]string{
			"name":    "test",
			"company": "my",
		},
		AddTime: timestamppb.New(time.Now()),
	})
	if err != nil {
		fmt.Println(err.Error())
		return
	}
	fmt.Println(r.Message)
}
无休止符
关注
专栏目录
Unity之C#端使用protobuf
TxNet
02-22 2968
protobuf全称Protocol Buffers，由Google推出的一种平台、语言无关的数据交互格式，目前使用最广泛的一种数据格式，尤其在网络传输过程中，有很强的安全性，而且数据量比json和xml要小很多。最主要的是protobuf支持的语言非常多，不管你是.net，java，lua，iOS，android，python，go，等等等等。都可以支持互相通信。我们之前的游戏框架都是lua的，所以protobuf用的也都是lua版本的。
Fundamentals.ProtoBuf.4.0.01
06-23
Protocol Buffers是Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。 Fundamentals.ProtoBuf.4.0.01
【Protobuf】Protobuf进阶
最新发布
一点一点变好
08-22 951
在protobuf禁止修改任何已有字段的字段编号。protobuf在编码字段的时候实际上是将字段值、字段类型、字段编号一起进行编码的，而在反序列化的时候就是根据反序列化中的字段编号将字段值反序列化到对应字段，如果我们更改了已存在的字段的编号，那么很有可能造成数据错位或者数据丢失;若是移除老字段，要保证不再使用移除字段的字段编号。正确的做法是保留字段编号（使用reserved的关键字），以确保该编号将不能被重复使用。不建议直接删除或注释掉字段！和bool是完全兼容的。
PB （protobuf）学习以及项目应用梳理：
weixin_62946182的博客
07-21 990
protobuf不支持rpc通信功能，只支持对于rpc方法的描述，通过这个描述它就可以去做rpc请求的携带的参数的序列化和反序列化，login的(LoginRequest)传输调用的方法名及参数，returns就是表示：这个rpc方法login(LoginResponse)执行以后返回的protobuf打包的类型。
设计模式之4 - 原型模式Proto Type
跟随技术的脚步-linolzhang的专栏
01-12 764
原型模式 核心价值在于复制（clone接口），调用类通过调用原型的 clone接口，生成原型类的一个新的实例。         原型模式被用在对象的频繁拷贝上，其作用与拷贝构造函数类似（Clone也用来屏蔽浅拷贝和深拷贝），主要有两种应用：         1）需要保存一份对象的拷贝 备份，作为数据留存；         2）克隆对象并设置改变后的部分属性。         我们来
Python 使用Protobuf(struct模块)
xupeng1644的博客
04-19 3654
Protobuf的原理及有点 xml、json是目前常用的数据交换格式，它们直接使用字段名称维护序列化后类实例中字段与数据之间的映射关系，一般用字符串的形式保存在序列化后的字节流中。消息和消息的定义相对独立，可读性较好。但序列化后的数据字节很大，序列化和反序列化的时间较长，数据传输效率不高。 Protobuf和Xml、Json序列化的方式不同，采用了二进制字节的序列化方式，用字段索引和字段类型通过算法计算得到字段之前的关系映射，从而达到更高的时间效率和空间效率，特别适合对数据大小和传输速率比较敏感的场
protobuf 编译安装
楼外楼
08-23 2238
今天在安装protobuf时，发现网上的protobuf编译安装教程已经落后了，所以记录下来，有需要的朋友可参考。 我是在Ubuntu虚拟机上安装的。 首先在githup上下载源码： wget -v -O protobuf.zip https://codeload.github.com/protocolbuffers/protobuf/zip/master 然后解压 unzip prot...
【protobuf进阶】通过.proto文件导出C#支持的.cs类文件
N的专栏
06-28 1582
【protobuf进阶】通过.proto文件导出C#支持的.cs类文件 protobuf是一个跨平台的消息交互协议，类似xml、json等。 protocolbuffer(以下简称PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了多种语言的实现：java、c#、c++、go 和 python，每一种实现都包...
Protobuf 入门级指南(谷歌的序列化框架，类似json，但更快)
Java自学之路
07-12 853
最近公司有用到Protobuf这个序列化框架，以前从来没用过，所以今天学习了下，入个门。 Protobuf 是一种与平台和语言无关的序列化框架，常用于通信协议，数据存储等。 优点：它的速度比xml和json更快，同时他能将数据压缩的更小，对于结构化数据优势更明显。什么是结构化数据呢？就是带有一定结构的数据。比如电话簿上有很多记录数据，每条记录包含姓名、ID、邮件、电话等，这种结构重复出现。 缺点：需要你定义proto文件，然后根据proto文件生成对应的java类，然后我们对这...
protobuf入门.pdf
09-18
### 4. protobuf的优势 - **效率**：protobuf的二进制编码方式比JSON等文本格式更紧凑，传输速度快，占用空间小。 - **跨平台**：protobuf的API设计使得数据可以在不同系统和语言之间无缝交换。 - **易用性**：提供...
Protobuf应用实例
05-12
### 4. Protobuf与JAVA的集成 在JAVA项目中，通常会将protobuf作为依赖库引入。在`protobuf-demo-master`这样的示例项目中，可能包含以下部分： - **protobuf配置**：项目可能包含一个.proto文件，定义了消息结构...
【源码阅读】 protobuf 中的 timestamp 包
01-08
文章目录Timestamptimestamp.go如何使用 Timestamp path: google/protobuf/timestamp.proto 在 timestamppb 中 Timestamp 包含两个字段 seconds 表示秒 nanos 表示纳秒 message Timestamp { int64 seconds = 1; int32 nanos = 2; } timestamp.go path: github.com/golang/protobuf/ptypes/timestamp.go package ptypes import ( errors fm
protobuf 使用和介绍
诸葛子房的博客
07-27 642
介绍 Protobuf 有没有比 JSON 快 5 倍？-InfoQ (3条消息) protobuf、thrift、avro对比_wangqiang9x的博客-CSDN博客 使用 Intellij IDEA中使用Protobuf的正确姿势 - 静若清池 - 博客园 (cnblogs.com) syntax="proto3"; option java_package = "com.vince.xq"; option java_multiple_files=true; option jav
[ET]开源卡五星4.0升5.0纪录之Protobuf生成
小菜希的Blog
11-14 574
一、4.0的 protobuf 是直接在 unity 编辑器内生成的，直接解析proto文件生成响应的代码，在编辑器代码直接添加要生成的proto文件就行了，如下代码： 内网 InnerMessage.proto 文件是在 InnerProto2CS类里的 public static class InnerProto2CS { private const string protoPath ...
protobuf解析（一）
吴景慈跑得快的博客
01-17 4425
protobuf是一种新的消息或数据结构体的定义模式。我们来看下基本写法： 1. 基本数据类型：包括double、float、bool、string、bytes、int32、int64、uint32、uint64、sint32、sint64、fixed32、fixed64、sfixed32、sfixed64； 2. 引用其他message类型 3. 枚举类型：对于枚举类型，protobuf有
proto3 语法
qq_31564573的博客
05-22 548
关键字 string// 定义一个data字符串变量，1是标号，每个结构体的标号不能重复。// 定义联系人// 字段类型 字段名 = 字段唯一编号;// 定义联系人// 字段类型 字段名 = 字段唯一编号;
grpc学习golang版（ 三、proto文件数据类型 ）
Sahara_Savage
06-26 971
grpc学习golang版（ 三、proto文件数据类型）
proto3基础
Bsj' blog
10-25 3019
字段编号 字段编号用来指定消息中字段的二进制加密格式，1-15编号的字段使用一个字节加密，16-2047编号使用两个字节加密。 在定义proto消息字段时，把经常出现的字段的使用1-15编号标记。 有关proto encoding的更多信息参考 可以指定的最小编码是1，最大编码是2^29-1。在19000-19999之间的字段编码是protobuf保留的编码，不可以用来作为自定义的消息字段的编码。 字段规则 singular：proto3的默认语法。 repeated：该规则标记的字段可以重复任意次。(
Android protobuf 原理以及ProtoOutputStream、ProtoInputStream 使用（最全）
私房菜
09-28 2514
请支持原创~~ 0. 前言 Protobuf是一种灵活高效可序列化的数据协议，相于XML，具有更快、更简单、更轻量级等特性。支持多种语言，只需定义好数据结构，利用Protobuf框架生成源代码，就可很轻松地实现数据结构的序列化和反序列化。一旦需求有变，可以更新数据结构，而不会影响已部署程序。 Protobuf 是一个小型的软件框架，带着疑问会发现Proto 有很多需要了解： Proto 文件书写格式，关键字package、option、Message、enum 等含义和注意点是什么？ 消息等.
Go语言与GRPC进阶实战： Protobuf与Web开发
"该资源是一本关于GRPC进阶的教程，涵盖了Go语言的基础知识，CGO编程，汇编语言，RPC和Protobuf，以及Go语言在Web开发和分布式系统中的应用。书中通过详细的章节划分，深入讲解了各个主题，包括Go语言的基本语法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无休止符

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值