grpc 的最大消息传输

参考大佬文章：https://blog.keyboardman.me/2018/08/06/large-messages-with-grpc/

grpc默认最大消息大小为4MB

当数据量太大的时候怎么办？

1.在创建server的时候配置相关参数扩大限制最小消息的值。

s := grpc.NewServer(grpc.MaxRecvMsgSize(size), grpc.MaxSendMsgSize(size))

MaxRecvMsgSize() 可以接收的最大消息大小(字节为单位)

MaxSendMsgSize() 可以发送的最大消息大小 (字节为单位)

缺点：

不断修改增加服务端和客户端消息大小，每次请求不一定需要全部数据，会导致性能上和资源上的浪费。

2.将数据分成更小的块并使用grpc流(stream)，进行流式传输。

proto里面返回流式消息类型的rpc service

syntax = "proto3";

package pb;

service Chunker {
    rpc Chunker(Empty) returns (stream Chunk) {}
}

message Empty{}

message Chunk {
    bytes chunk = 1;
}

实现server的chunker逻辑，流式消息大小设置为64kb.

const chunkSize = 64 * 1024

type chunkerSrv []byte

func (c chunkerSrv) Chunker(_ *pb.Empty, srv pb.Chunker_ChunkerServer) error {
    chunk := &pb.Chunk{}
    n := len(c)
    for cur := 0; cur < n; cur += chunkSize {
        if cur+chunkSize > n {
            chunk.Chunk = c[cur:n]
        } else {
            chunk.Chunk = c[cur : cur+chunkSize]
        }
        if err := srv.Send(chunk); err != nil {
            return err
        }
    }
    return nil
}

运行。使用128M测试。

func main() {
    listen, err := net.Listen("tcp", ":8888")
    if err != nil {
        log.Fatal(err)
    }
    s := grpc.NewServer()
    blob := make([]byte, 128*1024*1024) // 128M
    rand.Read(blob)
    pb.RegisterChunkerServer(s, chunkerSrv(blob))
    log.Println("serving on localhost:8888")
    log.Fatal(s.Serve(listen))
}

在数据量大的时候，不是每次都需要请求全量数据。使用http的range协议来分片获取资源。