rpc thrift/thriftpy2 python

Thrift使用
1、 安装thrift的python库
Pip install thrift
2. 安装 Thrift 的 IDL 编译工具
Windows:
从官网上下载 windows 版的 thrift.exe：http://archive.apache.org/dist/thrift/0.9.3/ （我这里用的是0.9.3版本）
Linux:
Mac:

3、定义一个.thrift格式的文件，如test.thrift

service Transmit {
string sayMsg(1:string msg);
string invoke(1:i32 cmd 2:string token 3:string data)
}

4、然后运行命令thrift-0.9.3.exe -gen py test.thrift 生成 python 代码

5、编辑服务器端代码

import json
import threading
from test import Transmit
from test.ttypes import *
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer
import socket


class TransmitHandler:
    def __init__(self):
        self.log = {}

    def sayMsg(self, msg):
        msg = json.loads(msg)
        print(threading.get_ident())
        print("sayMsg(" + msg + ")")
        return "say " + msg + " from " + socket.gethostbyname(socket.gethostname())

    def invoke(self, cmd, token, data):
        cmd = cmd
        token = token
        data = data
        if cmd == 1:
            return json.dumps({token: data})
        else:
            return 'cmd不匹配'


if __name__ == "__main__":
    handler = TransmitHandler()  # 处理程序
    processor = Transmit.Processor(handler)
    transport = TSocket.TServerSocket('127.0.0.1',
                                      8000)  # 基于TCP socket实现TTransport的接口 https://www.cnblogs.com/brucewoo/p/3226858.html
    """
    TSocket：使用阻塞的TCP Socket进行数据传输，也是最常见的模式
    THttpTransport：采用Http传输协议进行数据传输
    TFileTransport：文件（日志）传输类，允许client将文件传给server，允许server将收到的数据写到文件中
    TZlibTransport：与其他的TTransport配合使用，压缩后对数据进行传输，或者将收到的数据解压
    """
    tfactory = TTransport.TBufferedTransportFactory()  # 将原始传输转换为一个适合的应用传输 装饰器模式
    """
    TBufferedTransport：对某个Transport对象操作的数据进行buffer，即从buffer中读取数据进行传输，或者将数据直接写入buffer
    TFramedTransport：同TBufferedTransport类似，也会对相关数据进行buffer，同时，它支持定长数据发送和接收（按块的大小，进行传输）。
    TMemoryBuffer：从一个缓冲区中读写数据
    """
    pfactory = TBinaryProtocol.TBinaryProtocolFactory()  # 为TTransport创建一个输入和输出 把TTransport中的字节流转化为数据流(Data Stream)
    """
    TBinaryProtocol: 二进制格式
    TCompactProtocol: 高效率的、密集的二进制编码格式
    TJSONProtocol: 使用 JSON 的数据编码协议进行数据传输
    TSimpleJSONProtocol: 提供JSON只写协议, 生成的文件很容易通过脚本语言解析。
    TDebugProtocol: 使用易懂的可读的文本格式，以便于debug
    """
    server = TServer.TThreadedServer(processor, transport, tfactory, pfactory)  # 单线程服务器
    """
    TServer.TSimpleServer 单线程服务器
    TServer.TThreadedServer 多线程服务器
    TServer.TThreadPoolServer 线程池服务器
    TForkingServer 多进程服务器
    """
    print("Starting python server...")
    server.serve()

6、编写客户端代码

import sys
import json
from test import Transmit
from test.ttypes import *
from test.constants import *
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
import time

try:
    # Make socket
    transport = TSocket.TSocket('127.0.0.1', 8000)
    # Buffering is critical. Raw sockets are very slow
    transport = TTransport.TBufferedTransport(transport)
    # Wrap in a protocol
    protocol = TBinaryProtocol.TBinaryProtocol(transport)
    # Create a client to use the protocol encoder
    client = Transmit.Client(protocol)
    # Connect!
    transport.open()

    cmd = 1
    token = '1111-2222-3333-4444'
    data = json.dumps({"name": "zhoujielun"})
    msg = client.invoke(cmd, token, data)
    time.sleep(5)
    bad = client.sayMsg(json.dumps("zhoujielun"))
    transport.close()
except Thrift.TException as tx:
  print("%s" % (tx.message))

这里要说两个问题，首先，thriftpy2是第三方封装的一个三方库，相对于thrift的使用更加方便，不用安装插件生成代码，网上随便搜一个教程就可以，缺点是每次调用都需要生成新的socket，无法实现长连接。所以采用的是thrift更自由，更容易客制化。

Thrift2使用教程

thriftpy2中服务端和客户端都需要调用thriftpy2.load方法，对thrift文件进行解析，会在内存中构建相应的module
1.thriftpy2构建服务端
调用thriftpy.load方法对thrift文件进行解析,在内存中构建对应的module
调用make_server将构建的module和完成具体业务功能的class绑定,同时完成传输层和协议层的设置,生成thrift服务器端
调用server.serve方法启动服务器
2.thriftpy2构建客户端接口
调用thriftpy.load方法对thrift文件进行解析,在内存中构建对应的module
调用make_client绑定上一步构建的module,同时完成传输层和协议层的设置,生成Thirft客户端
根据生成的客户端调用响应的接口
由于微服务基本都会用docker来运行，用docker来搭建python微服务，大家可以参考下https://blog.csdn.net/qq_35394891/article/details/84144936

通过IDL（接口定义语言） -> 来定义 RPC(远程过程调用)的接口和数据类型 -> thrift编译器生成不同语言的代码 -> 负责RPC协议层和传输层的实现
通过定义IDL文件，来来关联客户端和服务端
IDL文件中定义的内容，定义我们要运行的服务，需要的变量等

thriftpy2框架是以pythonic方式实现的，不需要通过thrift文件，生成SDK，只需要动态导入thrift文件即可
使用方法：
1、pip install thriftpy2
2、我们需要定义thrift文件，来描述服务接口

service PingPong {
    string ping(),
}

3、定义客户端代码

import thriftpy2
pingpong_thrift = thriftpy2.load("pingpong.thrift", module_name="pingpong_thrift")

from thriftpy2.rpc import make_client

client = make_client(pingpong_thrift.PingPong, '127.0.0.1', 6000)
print(client.ping())

4、定义服务端代码

import thriftpy2
pingpong_thrift = thriftpy2.load("pingpong.thrift", module_name="pingpong_thrift")

from thriftpy2.rpc import make_server

class Dispatcher(object):
    def ping(self):
        return "pong"

server = make_server(pingpong_thrift.PingPong, Dispatcher(), '127.0.0.1', 6000)
server.serve()

支持异步：
Client：

import thriftpy2
import asyncio
from thriftpy2.rpc import make_aio_client

echo_thrift = thriftpy2.load("echo.thrift", module_name="echo_thrift")

async def request():
    client = await make_aio_client(
        echo_thrift.EchoService, '127.0.0.1', 6000)
    print(await client.echo('hello, world'))
    client.close()

server：

import asyncio
import thriftpy2

from thriftpy2.rpc import make_aio_server

echo_thrift = thriftpy2.load("echo.thrift", module_name="echo_thrift")

class Dispatcher(object):
    async def echo(self, param):
        print(param)
        await asyncio.sleep(0.1)
        return param

def main():
    server = make_aio_server(
        echo_thrift.EchoService, Dispatcher(), '127.0.0.1', 6000)
    server.serve()


if __name__ == '__main__':
    main()

两个学习链接：https://www.cnblogs.com/mumuxinfei/category/597031.html
http://zheming.wang/blog/2014/08/28/94D1F945-40EC-45E4-ABAF-3B32DFFE4043/