grpc传输大量数据python_gRPC传输协议使用(python教程)

gRPC传输协议使用(python教程)

发布时间：2018-07-13 18:23,

浏览次数：315

, 标签：

gRPC

python

全栈工程师开发手册 (作者：栾鹏)

架构系列文章

<>gRPC 简介：

gRPC 是一款高性能、开源的 RPC 框架，产自 Google，基于 ProtoBuf

序列化协议进行开发，支持多种语言(Golang、Python、Java等)，本篇只介绍 Python 的 gRPC 使用。因为 gRPC 对 HTTP/2

协议的支持使其在 Android、IOS 等客户端后端服务的开发领域具有良好的前景。gRPC 提供了一种简单的方法来定义服务，同时客户端可以充分利用

HTTP2 stream 的特性，从而有助于节省带宽、降低 TCP 的连接次数、节省CPU的使用等。

<>安装：

gRPC 的安装：

$ pip install grpcio

安装 ProtoBuf 相关的 python 依赖库：

$ pip install protobuf

安装 python grpc 的 protobuf 编译工具：

$ pip install grpcio-tools

<>GRPC使用案例

下看一下项目目录结构

grpc是一套传输协议,我们需要在底层实现这套传输协议.当然这些工作都已经被做完了,所以我们只要学会使用一个具有grpc传输协议的服务器和在客户端上调用grpc传输协议传输数据就可以了.

grpc传输协议传输的数据类型为protobuf数据.所以grpc都是和protobuf一块使用.

(1)新建data.proto文件,定义传输的数据格式和grpc服务要实现的函数

syntax = "proto3"; package example; service FormatData { //定义服务,用在rpc传输中 rpc

DoFormat(actionrequest) returns (actionresponse){} } message actionrequest {

string text = 1; } message actionresponse{ string text=1; }

(2)生成proto数据的python调用格式和grpc服务接口

在proto文件目录下 调用下列命令

$ python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=.

./data.proto

会生成：data_pb2.py 与 data_pb2_grpc.py,

其中data_pb2.py是数据格式调用的文件,data_pb2_grpc.py是grpc传输协议接口调用的文件.

(3)创建实现了grpc传输协议的服务器端

在服务器端代码中需要实现proto文件中编写的服务接口,并重写处理函数,将重写后的服务类实例化以后添加到grpc服务器中,这样创建的grpc服务器就可以实现自定义的proto传输服务了.

# 实现了 server 端用于接收客户端发送的数据，并对数据进行大写处理后返回给客户端 # ! /usr/bin/env python # -*-

coding: utf-8 -*- import grpc import time from concurrent import futures from

example import data_pb2, data_pb2_grpc _ONE_DAY_IN_SECONDS = 60 * 60 * 24 _HOST

= 'localhost' _PORT = '8080' #

实现一个派生类,重写rpc中的接口函数.自动生成的grpc文件中比proto中的服务名称多了一个Servicer class

FormatData(data_pb2_grpc.FormatDataServicer): # 重写接口函数.输入和输出都是proto中定义的Data类型

def DoFormat(self, request, context): str = request.text return

data_pb2.actionresponse(text=str.upper()) # 返回一个类实例 def serve(): #

定义服务器并设置最大连接数,corcurrent.futures是一个并发库，类似于线程池的概念 grpcServer =

grpc.server(futures.ThreadPoolExecutor(max_workers=4)) # 创建一个服务器

data_pb2_grpc.add_FormatDataServicer_to_server(FormatData(), grpcServer) #

在服务器中添加派生的接口服务(自己实现了处理函数) grpcServer.add_insecure_port(_HOST + ':' + _PORT) #

添加监听端口 grpcServer.start() # 启动服务器 try: while True:

time.sleep(_ONE_DAY_IN_SECONDS) except KeyboardInterrupt: grpcServer.stop(0) #

关闭服务器 if __name__ == '__main__': serve()

(4)创建实现能识别proto数据类和实现grpc传输协议.

# 实现了客户端用于发送数据并打印接收到 server 端处理后的数据 # ! /usr/bin/env python # -*- coding:

utf-8 -*- import grpc from example import data_pb2, data_pb2_grpc _HOST =

'localhost' _PORT = '8080' def run(): conn = grpc.insecure_channel(_HOST + ':'

+ _PORT) # 监听频道 print(conn) client = data_pb2_grpc.FormatDataStub(channel=conn)

# 客户端使用Stub类发送请求,参数为频道,为了绑定链接 print(client) response =

client.DoFormat(data_pb2.actionrequest(text='hello,world!')) #

返回的结果就是proto中定义的类 print("received: " + response.text) if __name__ ==

'__main__': run()

客户端链接的主机号和端口号,必须是服务器创建的主机号和端口号.