grpc传输大量数据python_Python用gRPC传输协议教学

Python使用gRPC传输协议教程

gRPC 简介：

gRPC 是一款高性能、开源的 RPC 框架，产自 Google，基于 ProtoBuf 序列化协议进行开发，支持多种语言(Golang、Python、Java等)，本篇只介绍 Python 的 gRPC 使用。因为 gRPC 对 HTTP/2 协议的支持使其在 Android、IOS 等客户端后端服务的开发领域具有良好的前景。gRPC 提供了一种简单的方法来定义服务，同时客户端可以充分利用 HTTP2 stream 的特性，从而有助于节省带宽、降低 TCP 的连接次数、节省CPU的使用等。

安装：

gRPC 的安装：

$ pip install grpcio

安装 ProtoBuf 相关的 python 依赖库：

$ pip install protobuf

安装 python grpc 的 protobuf 编译工具：

$ pip install grpcio-tools

GRPC使用案例

下看一下项目目录结构

grpc是一套传输协议,我们需要在底层实现这套传输协议.当然这些工作都已经被做完了,所以我们只要学会使用一个具有grpc传输协议的服务器和在客户端上调用grpc传输协议传输数据就可以了.

grpc传输协议传输的数据类型为protobuf数据.所以grpc都是和protobuf一块使用.

(1)新建data.proto文件,定义传输的数据格式和grpc服务要实现的函数

syntax = "proto3";

package example;

service FormatData { //定义服务,用在rpc传输中

rpc DoFormat(actionrequest) returns (actionresponse){}

}

message actionrequest {

string text = 1;

}

message actionresponse{

string text=1;

}

(2)生成proto数据的python调用格式和grpc服务接口

在proto文件目录下 调用下列命令

$ python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. ./data.proto

会生成：data_pb2.py 与 data_pb2_grpc.py, 其中data_pb2.py是数据格式调用的文件,data_pb2_grpc.py是grpc传输协议接口调用的文件.

(3)创建实现了grpc传输协议的服务器端

在服务器端代码中需要实现proto文件中编写的服务接口,并重写处理函数,将重写后的服务类实例化以后添加到grpc服务器中,这样创建的grpc服务器就可以实现自定义的proto传输服务了.

# 实现了 server 端用于接收客户端发送的数据，并对数据进行大写处理后返回给客户端

# ! /usr/bin/env python

# -*- coding: utf-8 -*-

import grpc

import time

from concurrent import futures

from example import data_pb2, data_pb2_grpc

_ONE_DAY_IN_SECONDS = 60 * 60 * 24

_HOST = 'localhost'

_PORT = '8080'

# 实现一个派生类,重写rpc中的接口函数.自动生成的grpc文件中比proto中的服务名称多了一个Servicer

class FormatData(data_pb2_grpc.FormatDataServicer):

# 重写接口函数.输入和输出都是proto中定义的Data类型

def DoFormat(self, request, context):

str = request.text

return data_pb2.actionresponse(text=str.upper()) # 返回一个类实例

def serve():

# 定义服务器并设置最大连接数,corcurrent.futures是一个并发库，类似于线程池的概念

grpcServer = grpc.server(futures.ThreadPoolExecutor(max_workers=4)) # 创建一个服务器

data_pb2_grpc.add_FormatDataServicer_to_server(FormatData(), grpcServer) # 在服务器中添加派生的接口服务(自己实现了处理函数)

grpcServer.add_insecure_port(_HOST + ':' + _PORT) # 添加监听端口

grpcServer.start() # 启动服务器

try:

while True:

time.sleep(_ONE_DAY_IN_SECONDS)

except KeyboardInterrupt:

grpcServer.stop(0) # 关闭服务器

if __name__ == '__main__':

serve()

(4)创建实现能识别proto数据类和实现grpc传输协议.

# 实现了客户端用于发送数据并打印接收到 server 端处理后的数据

# ! /usr/bin/env python

# -*- coding: utf-8 -*-

import grpc

from example import data_pb2, data_pb2_grpc

_HOST = 'localhost'

_PORT = '8080'

def run():

conn = grpc.insecure_channel(_HOST + ':' + _PORT) # 监听频道

print(conn)

client = data_pb2_grpc.FormatDataStub(channel=conn) # 客户端使用Stub类发送请求,参数为频道,为了绑定链接

print(client)

response = client.DoFormat(data_pb2.actionrequest(text='hello,world!')) # 返回的结果就是proto中定义的类

print("received: " + response.text)

if __name__ == '__main__':

run()

客户端链接的主机号和端口号,必须是服务器创建的主机号和端口号.

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对码农之家的支持。如果你想了解更多相关内容请查看下面相关链接

以上就是本次给大家分享的关于java的全部知识点内容总结，大家还可以在下方相关文章里找到相关文章进一步学习，感谢大家的阅读和支持。