参考大佬文章:https://blog.keyboardman.me/2018/08/06/large-messages-with-grpc/
grpc默认最大消息大小为4MB
当数据量太大的时候怎么办?
1.在创建server的时候配置相关参数扩大限制最小消息的值。
s := grpc.NewServer(grpc.MaxRecvMsgSize(size), grpc.MaxSendMsgSize(size))
MaxRecvMsgSize() 可以接收的最大消息大小(字节为单位)
MaxSendMsgSize() 可以发送的最大消息大小 (字节为单位)
缺点:
不断修改增加服务端和客户端消息大小,每次请求不一定需要全部数据,会导致性能上和资源上的浪费。
2.将数据分成更小的块并使用grpc流(stream),进行流式传输。
proto里面返回流式消息类型的rpc service
syntax = "proto3";
package pb;
service Chunker {
rpc Chunker(Empty) returns (stream Chunk) {}
}
message Empty{}
message Chunk {
bytes chunk = 1;
}
实现server的chunker逻辑,流式消息大小设置为64kb.
const chunkSize = 64 * 1024
type chunkerSrv []byte
func (c chunkerSrv) Chunker(_ *pb.Empty, srv pb.Chunker_ChunkerServer) error {
chunk := &pb.Chunk{}
n := len(c)
for cur := 0; cur < n; cur += chunkSize {
if cur+chunkSize > n {
chunk.Chunk = c[cur:n]
} else {
chunk.Chunk = c[cur : cur+chunkSize]
}
if err := srv.Send(chunk); err != nil {
return err
}
}
return nil
}
运行。使用128M测试。
func main() {
listen, err := net.Listen("tcp", ":8888")
if err != nil {
log.Fatal(err)
}
s := grpc.NewServer()
blob := make([]byte, 128*1024*1024) // 128M
rand.Read(blob)
pb.RegisterChunkerServer(s, chunkerSrv(blob))
log.Println("serving on localhost:8888")
log.Fatal(s.Serve(listen))
}
在数据量大的时候,不是每次都需要请求全量数据。使用http的range协议来分片获取资源。